DPO
Etapa 5 · IA generativa, razonamiento y agentes (2022–2026) › Alineamiento y razonamiento
- Linaje
- Datos y aprendizaje
- Tipo
- Publicación
Quién
Universidad de Stanford
Qué ocurrió
Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher Manning y Chelsea Finn, de Stanford, proponen la optimización directa de preferencias (DPO): ajustar un modelo de lenguaje a las preferencias humanas con una simple función de pérdida, sin modelo de recompensa aparte ni aprendizaje por refuerzo.
Qué aportó
Alineamiento por preferencias sin modelo de recompensa ni bucle de refuerzo, más sencillo de programar y de entrenar.
Desarrollo
El aprendizaje con retroalimentación humana tenía dos fases delicadas. Primero había que entrenar un modelo de recompensa con las preferencias de las personas. Después, ajustar el modelo de lenguaje con aprendizaje por refuerzo para maximizar esa recompensa sin alejarse demasiado del original. Los autores lo describieron como un proceso complejo y a menudo inestable.
Su aportación fue matemática. Mostraron que, con una forma adecuada de escribir el modelo de recompensa, la política óptima se puede obtener directamente, y que el problema se reduce a una pérdida de clasificación sencilla: aumentar la probabilidad de la respuesta preferida frente a la rechazada en cada par. El propio modelo de lenguaje hace de modelo de recompensa, como dice el subtítulo del artículo.
DPO no necesita sacar muestras del modelo durante el entrenamiento y apenas exige ajustar hiperparámetros. En los experimentos igualó o superó a los métodos existentes: controló el tono de los textos generados mejor que el aprendizaje por refuerzo con PPO e igualó o mejoró la calidad en resumen y diálogo, siendo más fácil de programar y de entrenar.
El artículo se presentó en NeurIPS 2023. Su sencillez lo hizo atractivo como alternativa al aprendizaje por refuerzo para ajustar modelos con preferencias.
Tres filas. RLHF y la IA constitucional tienen tres pasos (ajuste, juez y refuerzo con PPO); en la primera el juez aprende de personas que ordenan respuestas y en la segunda de una IA que compara. La fila de DPO es una sola caja, una pérdida sobre pares de respuestas sin modelo de recompensa ni refuerzo.
Nivel técnico
Con RLHF hay que mantener cuatro modelos durante el entrenamiento: el que se ajusta, una copia fija del original, el modelo de recompensa y el que estima el valor en PPO. DPO solo necesita los dos primeros.
Para cada petición x con una respuesta preferida y_g y una rechazada y_p, DPO minimiza -log σ(β·log[π(y_g|x)/π_ref(y_g|x)] - β·log[π(y_p|x)/π_ref(y_p|x)]), donde π es el modelo que se ajusta y π_ref la copia fija.
En palabras: sube la probabilidad de la respuesta preferida y baja la de la rechazada, medidas siempre frente al modelo original. El parámetro β regula cuánto puede alejarse de él, el mismo papel que la penalización de RLHF. La recompensa implícita de una respuesta es β·log[π(y|x)/π_ref(y|x)], y de ahí el subtítulo del artículo.
En comparación
| Aspecto | RLHF | DPO |
|---|---|---|
| Modelo de recompensa aparte | Sí | No: lo es el propio modelo |
| Aprendizaje por refuerzo | Sí (PPO) | No |
| Muestras del modelo durante el entrenamiento | Sí | No |
| Qué se optimiza | La nota del modelo de recompensa | Una pérdida de clasificación sobre pares |
Viene de
InstructGPT (4 de marzo de 2022)
Influencia directa documentada
DPO describe como punto de partida el procedimiento de aprendizaje por refuerzo con retroalimentación humana de Ziegler, Stiennon y Ouyang (InstructGPT), con modelo de recompensa y PPO, y lo sustituye por una sola pérdida de clasificación (apartados 1 y 3)
Bibliografía
Fuente original
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model (arXiv:2305.18290) (se abre en una pestaña nueva). Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning y Chelsea Finn, 2023. licencia libre: CC BY 4.0
Estudios y contexto
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS 2023 (se abre en una pestaña nueva). Rafael Rafailov y otros, 2023
Cómo citar
«DPO». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/dpo
Última revisión de esta ficha: 13 de noviembre de 2026.