La historia de la IA

InstructGPT

Etapa 5 · IA generativa, razonamiento y agentes (2022–2026) › Alineamiento y razonamiento

Linaje
Datos y aprendizaje
Tipo
Publicación

Quién

OpenAI

Qué ocurrió

Long Ouyang y sus colegas de OpenAI describen InstructGPT: GPT-3 ajustado primero con ejemplos escritos por personas y después con aprendizaje por refuerzo a partir de sus preferencias. Las respuestas de un InstructGPT de 1.300 millones de parámetros se prefieren a las del GPT-3 de 175.000 millones.

Qué aportó

El aprendizaje por refuerzo con retroalimentación humana aplicado a GPT-3: el modelo sigue instrucciones. Es la base de ChatGPT.

Desarrollo

GPT-3 sabía muchas cosas, pero no estaba hecho para obedecer. Entrenado para continuar textos de internet, ante una petición podía inventar, ser ofensivo o responder otra cosa. Los autores lo resumieron así: hacer más grande un modelo de lenguaje no lo hace, por sí solo, mejor para seguir lo que quiere quien lo usa.

El método tuvo tres pasos. Primero, un grupo de evaluadores escribió ejemplos del comportamiento deseado, y con ellos se ajustó GPT-3 de forma supervisada. Después, esos evaluadores ordenaron varias respuestas del modelo de mejor a peor, y con esas clasificaciones se entrenó un modelo de recompensa. Por último, el modelo de lenguaje se ajustó con aprendizaje por refuerzo para maximizar esa recompensa.

En las evaluaciones humanas, las respuestas de un InstructGPT de 1.300 millones de parámetros se prefirieron a las del GPT-3 original de 175.000 millones, con unas cien veces menos parámetros. También mejoró en veracidad y produjo menos texto tóxico, sin perder apenas en las pruebas habituales, aunque seguía cometiendo errores sencillos.

OpenAI había presentado los modelos el 27 de enero de 2022 y el artículo salió en arXiv el 4 de marzo. En noviembre de ese año, el mismo método, aplicado a un modelo de la serie GPT-3.5, dio lugar a ChatGPT.

Nivel técnico

Las tres fases usaron conjuntos distintos: unas 13.000 peticiones con respuestas escritas por los evaluadores para el ajuste supervisado, unas 33.000 para entrenar el modelo de recompensa y unas 31.000 para el aprendizaje por refuerzo.

Para el modelo de recompensa, los evaluadores ordenaban entre 4 y 9 respuestas a la misma petición, y cada par ordenado se usaba como un ejemplo. El modelo aprende a dar más nota a la respuesta preferida: su pérdida es -log σ(r(x, y_mejor) - r(x, y_peor)).

En la última fase, el algoritmo PPO ajusta el modelo para maximizar esa nota, con una penalización por alejarse del modelo supervisado. Sin ella, el modelo aprende a engañar al juez con respuestas raras que puntúan alto. La variante PPO-ptx mezcla además gradientes del preentrenamiento para no perder rendimiento en las pruebas habituales.

En comparación

Las tres fases de InstructGPT
FaseQué aportan las personasQué se entrena
1. Ajuste supervisadoRespuestas de ejemplo escritas a manoGPT-3 imita esas respuestas
2. Modelo de recompensaRespuestas del modelo ordenadas de mejor a peorUn juez que puntúa respuestas
3. Aprendizaje por refuerzoNada nuevoEl modelo busca la nota más alta del juez sin alejarse del paso 1

Viene de

  • Aprendizaje por refuerzo a partir de preferencias humanas (12 de junio de 2017)

    Influencia directa documentada

    Misma técnica, pasando por Ziegler (2019)

  • PPO (20 de julio de 2017)

    Influencia directa documentada

    PPO es el algoritmo con el que se entrena la política. El artículo de InstructGPT ajusta el modelo supervisado «usando PPO (Schulman et al., 2017)» (apartado 3.5)

  • RLHF en modelos de lenguaje (18 de septiembre de 2019)

    Influencia directa documentada

    «Nuestra metodología sigue la de Ziegler et al., 2019 y Stiennon et al., 2020» (apartado 3.1)

  • GPT-3 (28 de mayo de 2020)

    Influencia directa documentada

    InstructGPT es GPT-3 ajustado primero con demostraciones escritas por personas y después con aprendizaje por refuerzo a partir de sus preferencias (resumen)

Lleva a

  • ChatGPT (30 de noviembre de 2022)

    Influencia directa documentada

    OpenAI presenta ChatGPT como un modelo hermano de InstructGPT, entrenado con RLHF con los mismos métodos

  • IA constitucional (15 de diciembre de 2022)

    Herencia sin relación directa demostrada

    La IA constitucional conserva el esquema de aprendizaje por refuerzo con un modelo de preferencias y sustituye las etiquetas humanas sobre respuestas dañinas por las de una IA guiada por principios

  • DPO (29 de mayo de 2023)

    Influencia directa documentada

    DPO describe como punto de partida el procedimiento de aprendizaje por refuerzo con retroalimentación humana de Ziegler, Stiennon y Ouyang (InstructGPT), con modelo de recompensa y PPO, y lo sustituye por una sola pérdida de clasificación (apartados 1 y 3)

Hilos que pasan por aquí

Bibliografía

Cómo citar

«InstructGPT». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/instructgpt

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva