¿Qué es el Fine-Tuning?

Adaptación de un modelo preentrenado a una tarea específica mediante entrenamiento adicional sobre datos concretos

El fine-tuning, o ajuste fino, consiste en coger un modelo ya entrenado y seguir entrenándolo un poco más sobre un conjunto de datos específico. En lugar de partir de cero, se aprovecha todo lo que el modelo ya aprendió y solo se le especializa.

Es la diferencia entre contratar a alguien que ya sabe leer, escribir y razonar, y darle después una formación concreta para tu empresa, y contratar a alguien y enseñarle a leer desde el principio. Lo segundo es carísimo. Lo primero es el fine-tuning.

Preentrenamiento frente a fine-tuning

El preentrenamiento es la fase larga y costosa: el modelo aprende lenguaje y conocimiento general prediciendo el siguiente token sobre un corpus enorme. El resultado es un modelo con capacidades amplias pero genéricas.

El fine-tuning es la fase corta y barata en comparación: sobre esa base ya formada, se entrena con datos más específicos para orientarlo hacia una tarea, un dominio o un estilo concretos. El paper BERT de Devlin et al. popularizó este esquema al mostrar que un mismo modelo preentrenado se podía ajustar, añadiendo una capa de salida, para resolver tareas muy distintas.

Para qué sirve

El fine-tuning se usa para varias cosas:

Especializar en un dominio: ajustar el modelo con textos legales, médicos o técnicos para que domine el vocabulario y el estilo de ese campo.

Fijar un formato o un tono: enseñarle a responder siempre con una estructura concreta o con la voz de una marca.

Enseñar a seguir instrucciones: un tipo concreto de fine-tuning es el instruction tuning. El paper Finetuned Language Models Are Zero-Shot Learners de Wei et al., que describe FLAN, mostró que ajustar un modelo sobre muchas tareas descritas mediante instrucciones mejora mucho su capacidad de seguir instrucciones nuevas que no había visto antes. Es uno de los ingredientes que convierten un modelo base en un asistente.

Un ejemplo para verlo claro

Imagina un despacho de abogados que quiere un asistente para redactar contratos. Un modelo general escribe contratos correctos pero genéricos. Con fine-tuning sobre miles de contratos propios del despacho, el modelo aprende su estructura habitual, sus cláusulas tipo y su estilo de redacción, y empieza a producir borradores que suenan a ese despacho y no a un modelo cualquiera.

Lo importante del ejemplo: el modelo no ha aprendido derecho que no supiera. Ha aprendido a comportarse como el despacho espera. El fine-tuning brilla ajustando el cómo, más que añadiendo el qué.

Fine-tuning completo frente a eficiente

Ajustar todos los parámetros de un modelo grande es caro: hay que recalcular y guardar millones o miles de millones de pesos. Para abaratarlo existen los métodos de fine-tuning eficiente en parámetros.

El más conocido lo describe el paper LoRA: Low-Rank Adaptation of Large Language Models de Hu et al. La idea es congelar los pesos originales del modelo y entrenar solo unas matrices pequeñas que se añaden a cada capa. Así se ajusta una fracción minúscula de parámetros en lugar de todos, con mucha menos memoria y sin añadir retraso al generar, y alcanzando una calidad comparable a la del fine-tuning completo.

Fine-tuning frente a RAG

Es la comparación más frecuente, y conviene tenerla clara porque resuelven cosas distintas.

El fine-tuning cambia los pesos del modelo: el conocimiento o el comportamiento queda incorporado dentro del propio modelo. Es como estudiar hasta interiorizar una materia.

El RAG no toca el modelo: le entrega documentos externos en el momento de responder, y el conocimiento se queda fuera, en una base de datos que se puede actualizar. Es como responder con el manual abierto delante.

La regla práctica: para cambiar cómo se comporta el modelo (estilo, formato, tono, seguir cierto tipo de instrucciones), fine-tuning. Para darle acceso a información concreta, actualizable o verificable, RAG. Muchos sistemas serios combinan los dos.

Un ejemplo para fijarlo: si quieres que el modelo responda siempre con el tono de tu marca, eso es fine-tuning, porque es una cuestión de comportamiento. Si quieres que responda con los datos de tu catálogo, que cambian cada semana, eso es RAG, porque es una cuestión de información actualizable.

Límites

El fine-tuning no es gratis ni infalible:

Necesita datos de calidad y bien preparados; con datos malos, empeora el modelo en vez de mejorarlo.
Puede provocar olvido catastrófico: al especializarse demasiado en lo nuevo, el modelo empeora en tareas generales que antes hacía bien.
Reajustar un modelo cada vez que cambia un dato es poco práctico; para información que cambia a menudo, encaja mejor el RAG.

Qué pasa en la práctica

Para un cambio de estilo o formato constante, el fine-tuning suele dar mejor resultado que repetir la instrucción en cada prompt.
Métodos como LoRA han hecho el fine-tuning accesible sin necesidad de reentrenar el modelo entero.
Si el objetivo es que el modelo maneje datos concretos y actualizables, casi siempre sale mejor y más barato el RAG que el fine-tuning.

Error común

Creer que el fine-tuning es la forma fiable de “meterle datos nuevos” al modelo. No lo es tanto. El fine-tuning es muy bueno moldeando el comportamiento, el estilo y el formato, pero para inyectar hechos concretos de forma fiable es menos seguro de lo que parece: el modelo puede mezclar lo aprendido y seguir inventando. Para hechos que deben ser exactos y verificables, suele funcionar mejor el RAG.