La historia de la IA

DPO

Etapa 5 · IA generativa, razonamiento y agentes (2022–2026) › Alineamiento y razonamiento

Linaje
Datos y aprendizaje
Tipo
Publicación

Quién

Universidad de Stanford

Qué ocurrió

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher Manning y Chelsea Finn, de Stanford, proponen la optimización directa de preferencias (DPO): ajustar un modelo de lenguaje a las preferencias humanas con una simple función de pérdida, sin modelo de recompensa aparte ni aprendizaje por refuerzo.

Qué aportó

Alineamiento por preferencias sin modelo de recompensa ni bucle de refuerzo, más sencillo de programar y de entrenar.

Desarrollo

El aprendizaje con retroalimentación humana tenía dos fases delicadas. Primero había que entrenar un modelo de recompensa con las preferencias de las personas. Después, ajustar el modelo de lenguaje con aprendizaje por refuerzo para maximizar esa recompensa sin alejarse demasiado del original. Los autores lo describieron como un proceso complejo y a menudo inestable.

Su aportación fue matemática. Mostraron que, con una forma adecuada de escribir el modelo de recompensa, la política óptima se puede obtener directamente, y que el problema se reduce a una pérdida de clasificación sencilla: aumentar la probabilidad de la respuesta preferida frente a la rechazada en cada par. El propio modelo de lenguaje hace de modelo de recompensa, como dice el subtítulo del artículo.

DPO no necesita sacar muestras del modelo durante el entrenamiento y apenas exige ajustar hiperparámetros. En los experimentos igualó o superó a los métodos existentes: controló el tono de los textos generados mejor que el aprendizaje por refuerzo con PPO e igualó o mejoró la calidad en resumen y diálogo, siendo más fácil de programar y de entrenar.

El artículo se presentó en NeurIPS 2023. Su sencillez lo hizo atractivo como alternativa al aprendizaje por refuerzo para ajustar modelos con preferencias.

Tres filas. RLHF y la IA constitucional tienen tres pasos (ajuste, juez y refuerzo con PPO); en la primera el juez aprende de personas que ordenan respuestas y en la segunda de una IA que compara. La fila de DPO es una sola caja, una pérdida sobre pares de respuestas sin modelo de recompensa ni refuerzo.

RLHF y la IA constitucional entrenan un juez y optimizan contra él; DPO llega al mismo objetivo con una sola pérdida.

Nivel técnico

Con RLHF hay que mantener cuatro modelos durante el entrenamiento: el que se ajusta, una copia fija del original, el modelo de recompensa y el que estima el valor en PPO. DPO solo necesita los dos primeros.

Para cada petición x con una respuesta preferida y_g y una rechazada y_p, DPO minimiza -log σ(β·log[π(y_g|x)/π_ref(y_g|x)] - β·log[π(y_p|x)/π_ref(y_p|x)]), donde π es el modelo que se ajusta y π_ref la copia fija.

En palabras: sube la probabilidad de la respuesta preferida y baja la de la rechazada, medidas siempre frente al modelo original. El parámetro β regula cuánto puede alejarse de él, el mismo papel que la penalización de RLHF. La recompensa implícita de una respuesta es β·log[π(y|x)/π_ref(y|x)], y de ahí el subtítulo del artículo.

En comparación

RLHF y DPO
AspectoRLHFDPO
Modelo de recompensa aparteSíNo: lo es el propio modelo
Aprendizaje por refuerzoSí (PPO)No
Muestras del modelo durante el entrenamientoSíNo
Qué se optimizaLa nota del modelo de recompensaUna pérdida de clasificación sobre pares

Viene de

  • InstructGPT (4 de marzo de 2022)

    Influencia directa documentada

    DPO describe como punto de partida el procedimiento de aprendizaje por refuerzo con retroalimentación humana de Ziegler, Stiennon y Ouyang (InstructGPT), con modelo de recompensa y PPO, y lo sustituye por una sola pérdida de clasificación (apartados 1 y 3)

Bibliografía

Fuente original

Cómo citar

«DPO». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/dpo

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva