La historia de la IA

Aprendizaje por refuerzo a partir de preferencias humanas

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Alineamiento

Linaje
Datos y aprendizaje
Tipo
Publicación

Quién

OpenAI, DeepMind

Qué ocurrió

Paul Christiano, Jan Leike, Tom Brown, Miljan Martic, Shane Legg y Dario Amodei, de OpenAI y DeepMind, entrenan agentes de aprendizaje por refuerzo sin función de recompensa, solo con las comparaciones de personas que eligen cuál de dos fragmentos de comportamiento prefieren.

Qué aportó

El origen del aprendizaje por refuerzo con retroalimentación humana (RLHF): un modelo aprende qué quieren las personas a partir de sus comparaciones, y el agente se entrena para satisfacer ese modelo.

Desarrollo

El aprendizaje por refuerzo necesita una recompensa: un número que diga si el agente lo está haciendo bien. En un videojuego la da la puntuación, pero para muchas tareas reales nadie sabe escribirla, y una recompensa mal especificada produce un agente que la maximiza de formas que nadie quería.

Christiano y sus colegas propusieron que la recompensa la aprendiera el propio sistema a partir de personas. El agente actúa, el sistema muestra a una persona dos fragmentos cortos de su comportamiento y ella elige el que se acerca más a lo que busca. Con esas comparaciones se entrena un modelo de recompensa, y el agente aprende a maximizar lo que ese modelo predice. Los evaluadores no tenían que ser expertos.

El método funcionó en juegos de Atari y en tareas simuladas de locomoción robótica con comparaciones humanas para menos del 1 % de las interacciones del agente con su entorno, lo bastante poco para que fuera práctico. Con alrededor de una hora de tiempo humano, los autores enseñaron comportamientos nuevos que habría sido difícil describir con una recompensa escrita.

El artículo lo firmaban investigadores de OpenAI y de DeepMind, y varios de ellos siguieron trabajando en esta línea. Dos años después, el mismo método se aplicaría a los modelos de lenguaje.

Cuatro cajas en círculo. «Agente» lleva a «dos fragmentos de su conducta», de ahí a «una persona elige el mejor», de ahí a «modelo de recompensa» con la etiqueta «comparaciones», y una flecha de color vuelve al agente con la etiqueta «recompensa aprendida, el agente la maximiza».

El agente actúa, una persona compara dos fragmentos de su conducta, un modelo de recompensa aprende de esas comparaciones y el agente se entrena para maximizar lo que ese modelo predice.

Nivel técnico

El modelo de recompensa r̂ se ajusta para que explique las elecciones humanas. La probabilidad de que la persona prefiera el fragmento σ¹ al σ² se modela como exp Σ r̂(σ¹) / (exp Σ r̂(σ¹) + exp Σ r̂(σ²)), donde cada suma recorre los pasos del fragmento, y se entrena minimizando la entropía cruzada con las elecciones reales.

El agente y el modelo de recompensa se entrenan a la vez: el agente genera fragmentos nuevos, las personas comparan algunos y el modelo se actualiza. Para escoger qué pares enseñar, los autores preferían aquellos en los que varios modelos de recompensa entrenados en paralelo discrepaban más.

Malentendidos frecuentes

  • Se suele decir: El aprendizaje con retroalimentación humana nació con ChatGPT.

    En realidad: El método es de 2017 y se probó con juegos de Atari y robots simulados. Llegó a los modelos de lenguaje en 2019 y a ChatGPT a través de InstructGPT.

Viene de

  • DQN (19 de diciembre de 2013)

    Herencia sin relación directa demostrada

    El artículo arranca del éxito del refuerzo profundo en problemas con recompensa bien definida (cita a Mnih et al., 2015) y lo lleva a tareas sin función de recompensa, entre ellas los mismos juegos de Atari. Para Atari no usa DQN sino A2C

Lleva a

  • InstructGPT (4 de marzo de 2022), ChatGPT (30 de noviembre de 2022)

    Influencia directa documentada

    Misma técnica, pasando por Ziegler (2019)

  • RLHF en modelos de lenguaje (18 de septiembre de 2019)

    Influencia directa documentada

    El artículo pide a los anotadores que elijan entre varias opciones «siguiendo a Christiano et al. 2017» (apartado 2)

  • Se funda Anthropic (enero de 2021)

    Influencia directa documentada

    El anuncio de la primera ronda de Anthropic presenta a su equipo como autor de investigación previa en GPT-3, las leyes de escala y el aprendizaje a partir de preferencias humanas

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«Aprendizaje por refuerzo a partir de preferencias humanas». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/rlhf-christiano

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva