Aprendizaje por refuerzo a partir de preferencias humanas
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Alineamiento
- Linaje
- Datos y aprendizaje
- Tipo
- Publicación
Quién
OpenAI, DeepMind
Qué ocurrió
Paul Christiano, Jan Leike, Tom Brown, Miljan Martic, Shane Legg y Dario Amodei, de OpenAI y DeepMind, entrenan agentes de aprendizaje por refuerzo sin función de recompensa, solo con las comparaciones de personas que eligen cuál de dos fragmentos de comportamiento prefieren.
Qué aportó
El origen del aprendizaje por refuerzo con retroalimentación humana (RLHF): un modelo aprende qué quieren las personas a partir de sus comparaciones, y el agente se entrena para satisfacer ese modelo.
Desarrollo
El aprendizaje por refuerzo necesita una recompensa: un número que diga si el agente lo está haciendo bien. En un videojuego la da la puntuación, pero para muchas tareas reales nadie sabe escribirla, y una recompensa mal especificada produce un agente que la maximiza de formas que nadie quería.
Christiano y sus colegas propusieron que la recompensa la aprendiera el propio sistema a partir de personas. El agente actúa, el sistema muestra a una persona dos fragmentos cortos de su comportamiento y ella elige el que se acerca más a lo que busca. Con esas comparaciones se entrena un modelo de recompensa, y el agente aprende a maximizar lo que ese modelo predice. Los evaluadores no tenían que ser expertos.
El método funcionó en juegos de Atari y en tareas simuladas de locomoción robótica con comparaciones humanas para menos del 1 % de las interacciones del agente con su entorno, lo bastante poco para que fuera práctico. Con alrededor de una hora de tiempo humano, los autores enseñaron comportamientos nuevos que habría sido difícil describir con una recompensa escrita.
El artículo lo firmaban investigadores de OpenAI y de DeepMind, y varios de ellos siguieron trabajando en esta línea. Dos años después, el mismo método se aplicaría a los modelos de lenguaje.
Cuatro cajas en círculo. «Agente» lleva a «dos fragmentos de su conducta», de ahí a «una persona elige el mejor», de ahí a «modelo de recompensa» con la etiqueta «comparaciones», y una flecha de color vuelve al agente con la etiqueta «recompensa aprendida, el agente la maximiza».
Nivel técnico
El modelo de recompensa r̂ se ajusta para que explique las elecciones humanas. La probabilidad de que la persona prefiera el fragmento σ¹ al σ² se modela como exp Σ r̂(σ¹) / (exp Σ r̂(σ¹) + exp Σ r̂(σ²)), donde cada suma recorre los pasos del fragmento, y se entrena minimizando la entropía cruzada con las elecciones reales.
El agente y el modelo de recompensa se entrenan a la vez: el agente genera fragmentos nuevos, las personas comparan algunos y el modelo se actualiza. Para escoger qué pares enseñar, los autores preferían aquellos en los que varios modelos de recompensa entrenados en paralelo discrepaban más.
Malentendidos frecuentes
Se suele decir: El aprendizaje con retroalimentación humana nació con ChatGPT.
En realidad: El método es de 2017 y se probó con juegos de Atari y robots simulados. Llegó a los modelos de lenguaje en 2019 y a ChatGPT a través de InstructGPT.
Viene de
DQN (19 de diciembre de 2013)
Herencia sin relación directa demostrada
El artículo arranca del éxito del refuerzo profundo en problemas con recompensa bien definida (cita a Mnih et al., 2015) y lo lleva a tareas sin función de recompensa, entre ellas los mismos juegos de Atari. Para Atari no usa DQN sino A2C
Lleva a
InstructGPT (4 de marzo de 2022), ChatGPT (30 de noviembre de 2022)
Influencia directa documentada
Misma técnica, pasando por Ziegler (2019)
RLHF en modelos de lenguaje (18 de septiembre de 2019)
Influencia directa documentada
El artículo pide a los anotadores que elijan entre varias opciones «siguiendo a Christiano et al. 2017» (apartado 2)
Se funda Anthropic (enero de 2021)
Influencia directa documentada
El anuncio de la primera ronda de Anthropic presenta a su equipo como autor de investigación previa en GPT-3, las leyes de escala y el aprendizaje a partir de preferencias humanas
Hilos que pasan por aquí
- Del premio al alineamiento (paso 8 de 12)
- Quién paga el cómputo (paso 2 de 6)
Bibliografía
Fuente original
- Deep reinforcement learning from human preferences (arXiv:1706.03741) (se abre en una pestaña nueva). Paul Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg y Dario Amodei, 2017
Cómo citar
«Aprendizaje por refuerzo a partir de preferencias humanas». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/rlhf-christiano
Última revisión de esta ficha: 13 de noviembre de 2026.