Dynamic Programming
Etapa 2 · Nace la IA (1943–1979) › Cibernética, información y computadores electrónicos
- Linaje
- Datos y aprendizaje
- Tipo
- Publicación
Quién
RAND Corporation
Qué ocurrió
Richard Bellman, matemático de la RAND Corporation, publica Dynamic Programming en Princeton University Press. Reúne el método que venía desarrollando desde principios de los años cincuenta para los problemas de decisión en varias etapas.
Qué aportó
Formula el principio de optimalidad y la ecuación funcional, ahora llamada ecuación de Bellman, que es la base matemática del aprendizaje por refuerzo.
Desarrollo
En la RAND Corporation, un centro de investigación ligado a la Fuerza Aérea estadounidense, Bellman estudiaba problemas en los que hay que tomar una secuencia de decisiones: cuánto producir cada mes, cómo repartir recursos en el tiempo, qué hacer en cada paso de un proceso incierto. El número de planes posibles crece tan deprisa que compararlos todos es imposible.
Su idea central es el principio de optimalidad: una política óptima tiene la propiedad de que, sean cuales sean el estado y la decisión iniciales, las decisiones restantes forman una política óptima para el estado que resulta de la primera. Dicho de otro modo, el valor de una situación es la mejor recompensa inmediata más el valor de la situación a la que lleva. Esa relación recursiva permite resolver el problema desde el final hacia atrás, por etapas, en lugar de examinar todos los planes. Bellman llamó a la dificultad de fondo, el crecimiento explosivo del número de estados, «la maldición de la dimensionalidad».
Publicó sus primeros trabajos sobre el método en 1952 y el libro en 1957. Ese mismo año describió los procesos de decisión de Markov, el marco formal en el que se plantea hoy el aprendizaje por refuerzo.
Sutton y Barto, en su manual de referencia, sitúan aquí uno de los dos orígenes del aprendizaje por refuerzo: las ecuaciones de Bellman son las que aproximan los algoritmos que aprenden a jugar o a controlar robots.
Lleva a
Diferencias temporales (agosto de 1988)
Influencia directa documentada
Sutton y Barto sitúan en la programación dinámica y la ecuación de Bellman uno de los orígenes del aprendizaje por refuerzo; los métodos de diferencias temporales aproximan esa ecuación
Q-learning (1989)
Influencia directa documentada
Watkins plantea el aprendizaje por refuerzo como programación dinámica incremental, y Q-learning es la ecuación de Bellman convertida en regla de aprendizaje
Hilos que pasan por aquí
- Del premio al alineamiento (paso 3 de 12)
Bibliografía
Fuente original
- Reinforcement Learning: An Introduction, 1.ª edición, MIT Press. Apartado «History of Reinforcement Learning» de la edición en línea (se abre en una pestaña nueva), apartado «History of Reinforcement Learning». Richard S. Sutton y Andrew G. Barto, 1998
Cómo citar
«Dynamic Programming». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/bellman-programacion-dinamica
Última revisión de esta ficha: 13 de noviembre de 2026.