La historia de la IA

Del premio al alineamiento

De la idea de que la recompensa refuerza la conducta a la técnica con la que se ajusta ChatGPT. Dos líneas corren en paralelo y se juntan en Sutton; otras dos se juntan en el trabajo de Ziegler.

  1. Ley del efecto (1898)

    Thorndike formula la ley del efecto: las conductas seguidas de recompensa se refuerzan. Es la raíz conceptual del aprendizaje por refuerzo.

  2. Programa de damas de Samuel (1952)

    Mientras tanto, en IBM, el programa de damas de Samuel aprende jugando contra sí mismo. En 1959 Samuel acuña «machine learning». Esta línea viene de la programación, no de la psicología.

  3. Dynamic Programming (1957)

    Mientras tanto, Bellman formula la programación dinámica, un método para resolver problemas de decisión en varias etapas cuando se conoce el entorno. Esta línea viene del control óptimo.

  4. Diferencias temporales (agosto de 1988)

    Sutton publica el aprendizaje por diferencias temporales. Parte del trabajo de Samuel. Con Thorndike la herencia es conceptual, sin continuidad directa entre autores.

  5. Q-learning (1989)

    Un año después, Watkins presenta Q-learning en su tesis, Learning from Delayed Rewards. Junta las diferencias temporales con el control óptimo.

  6. TD-Gammon (1992)

    Tesauro aplica directamente el algoritmo de Sutton: una red entrenada jugando contra sí misma alcanza nivel experto en backgammon.

  7. DQN (19 de diciembre de 2013)

    DQN es Q-learning con una red profunda. Juega a Atari desde los píxeles.

  8. Aprendizaje por refuerzo a partir de preferencias humanas (12 de junio de 2017)

    El refuerzo profundo funciona cuando la recompensa está bien definida. Christiano y sus colegas lo llevan a tareas en las que no lo está, con un agente que aprende de comparaciones humanas. Es el origen de RLHF.

  9. PPO (20 de julio de 2017)

    Mientras tanto, el mismo año, Schulman y sus colegas publican PPO, un algoritmo de refuerzo estable. Es el que después se usa para alinear modelos de lenguaje.

  10. RLHF en modelos de lenguaje (18 de septiembre de 2019)

    Ziegler y sus colegas aplican RLHF a modelos de lenguaje. Aquí se juntan las dos líneas: las comparaciones humanas siguen el método de Christiano y la política se entrena con PPO.

  11. InstructGPT (4 de marzo de 2022)

    InstructGPT sigue la metodología de Ziegler y la aplica a GPT-3: el modelo aprende a seguir instrucciones.

  12. ChatGPT (30 de noviembre de 2022)

    ChatGPT es un modelo hermano de InstructGPT, entrenado con los mismos métodos. Llega a 100 millones de usuarios mensuales en dos meses.

Abrir en la cronología interactiva