La historia de la IA

RLHF en modelos de lenguaje

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Alineamiento

Linaje
Datos y aprendizaje
Tipo
Aplicación

Quién

OpenAI

Qué ocurrió

Daniel Ziegler y sus colegas de OpenAI ajustan modelos de lenguaje preentrenados con un modelo de recompensa aprendido de juicios humanos, en tareas de continuación de textos con un estilo dado y de resumen.

Qué aportó

El aprendizaje a partir de preferencias humanas llega a los modelos de lenguaje. Es la técnica que, reutilizada en InstructGPT, convertirá un modelo de lenguaje en un asistente.

Desarrollo

Un modelo de lenguaje preentrenado sabe continuar textos, pero no sabe qué texto quiere quien lo usa. Para tareas como escribir con un tono positivo o resumir bien, no hay una fórmula que mida el éxito. Ziegler y sus colegas llevaron a este terreno el método de Christiano: personas comparan respuestas del modelo, un modelo de recompensa aprende sus preferencias y el modelo de lenguaje se ajusta con aprendizaje por refuerzo para satisfacerlo.

Lo probaron en cuatro tareas. En dos de continuación de textos, una con un tono positivo y otra con descripciones físicas, bastaron 5.000 comparaciones humanas para obtener buenos resultados. En dos de resumen, con mensajes de foros y con noticias de CNN y del Daily Mail, usaron 60.000.

Los resúmenes recibieron buenas valoraciones de los evaluadores, pero los autores avisaron de un problema: los modelos solían copiar frases enteras del texto original, saltándose el principio irrelevante, y quizá aprovechaban atajos sencillos en los que se fijaban los evaluadores. Es la forma temprana de un riesgo conocido del método: el modelo aprende lo que se valora bien, que no siempre es lo que está bien.

El algoritmo que se usa hoy procede de este trabajo, y se popularizó al reutilizarse en InstructGPT, el predecesor de ChatGPT.

Viene de

  • Aprendizaje por refuerzo a partir de preferencias humanas (12 de junio de 2017)

    Influencia directa documentada

    El artículo pide a los anotadores que elijan entre varias opciones «siguiendo a Christiano et al. 2017» (apartado 2)

  • PPO (20 de julio de 2017)

    Influencia directa documentada

    La política se optimiza con PPO (Schulman et al., 2017), en su versión PPO2 (apartados 2 y 2.2)

Lleva a

  • InstructGPT (4 de marzo de 2022)

    Influencia directa documentada

    «Nuestra metodología sigue la de Ziegler et al., 2019 y Stiennon et al., 2020» (apartado 3.1)

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«RLHF en modelos de lenguaje». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/rlhf-modelos-lenguaje

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva