La historia de la IA

PPO

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Aprendizaje por refuerzo profundo

Linaje
Datos y aprendizaje
Tipo
Publicación

Quién

OpenAI

Qué ocurrió

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford y Oleg Klimov, de OpenAI, publican la optimización de políticas proximal (PPO), una familia de métodos de aprendizaje por refuerzo más sencilla de programar que sus predecesores y con resultados mejores o iguales.

Qué aportó

Un algoritmo de refuerzo estable y fácil de usar, que se convierte en el método por defecto de OpenAI y, años después, en la pieza que ajusta los modelos de lenguaje con retroalimentación humana.

Desarrollo

Los métodos de gradiente de política mejoran directamente la estrategia del agente, pero tienen un problema: un paso de aprendizaje demasiado grande puede estropear una estrategia que funcionaba, y el agente tarda mucho en recuperarse. En 2015, TRPO resolvió el problema limitando cuánto puede cambiar la política en cada actualización, pero era complicado de programar y caro de calcular.

PPO consigue casi lo mismo con un recurso más simple. Su función objetivo recorta la mejora cuando la nueva política se aleja demasiado de la anterior, de modo que no hay incentivo para dar pasos grandes. Eso permite, además, reutilizar cada lote de datos durante varias pasadas de entrenamiento en lugar de usarlo una sola vez.

Los autores lo probaron en tareas simuladas de locomoción robótica y en juegos de Atari, y según el resumen superó a otros métodos de gradiente de política con un buen equilibrio entre eficiencia, sencillez y tiempo de cálculo.

Desde 2018, PPO fue el algoritmo de refuerzo por defecto en OpenAI. Se usó para controlar brazos robóticos y para vencer a jugadores profesionales de Dota 2, y más tarde se usó para ajustar modelos de lenguaje con retroalimentación humana, como se cuenta en la rama de alineamiento.

Lleva a

  • InstructGPT (4 de marzo de 2022)

    Influencia directa documentada

    PPO es el algoritmo con el que se entrena la política. El artículo de InstructGPT ajusta el modelo supervisado «usando PPO (Schulman et al., 2017)» (apartado 3.5)

  • RLHF en modelos de lenguaje (18 de septiembre de 2019)

    Influencia directa documentada

    La política se optimiza con PPO (Schulman et al., 2017), en su versión PPO2 (apartados 2 y 2.2)

  • OpenAI Five vence a los campeones de Dota 2 (13 de abril de 2019)

    Influencia directa documentada

    OpenAI Five se entrenó con PPO, el método de gradiente de política de OpenAI

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«PPO». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/ppo

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva