La historia de la IA

Dynamic Programming

Etapa 2 · Nace la IA (1943–1979) › Cibernética, información y computadores electrónicos

Linaje
Datos y aprendizaje
Tipo
Publicación

Quién

RAND Corporation

Qué ocurrió

Richard Bellman, matemático de la RAND Corporation, publica Dynamic Programming en Princeton University Press. Reúne el método que venía desarrollando desde principios de los años cincuenta para los problemas de decisión en varias etapas.

Qué aportó

Formula el principio de optimalidad y la ecuación funcional, ahora llamada ecuación de Bellman, que es la base matemática del aprendizaje por refuerzo.

Desarrollo

En la RAND Corporation, un centro de investigación ligado a la Fuerza Aérea estadounidense, Bellman estudiaba problemas en los que hay que tomar una secuencia de decisiones: cuánto producir cada mes, cómo repartir recursos en el tiempo, qué hacer en cada paso de un proceso incierto. El número de planes posibles crece tan deprisa que compararlos todos es imposible.

Su idea central es el principio de optimalidad: una política óptima tiene la propiedad de que, sean cuales sean el estado y la decisión iniciales, las decisiones restantes forman una política óptima para el estado que resulta de la primera. Dicho de otro modo, el valor de una situación es la mejor recompensa inmediata más el valor de la situación a la que lleva. Esa relación recursiva permite resolver el problema desde el final hacia atrás, por etapas, en lugar de examinar todos los planes. Bellman llamó a la dificultad de fondo, el crecimiento explosivo del número de estados, «la maldición de la dimensionalidad».

Publicó sus primeros trabajos sobre el método en 1952 y el libro en 1957. Ese mismo año describió los procesos de decisión de Markov, el marco formal en el que se plantea hoy el aprendizaje por refuerzo.

Sutton y Barto, en su manual de referencia, sitúan aquí uno de los dos orígenes del aprendizaje por refuerzo: las ecuaciones de Bellman son las que aproximan los algoritmos que aprenden a jugar o a controlar robots.

Lleva a

  • Diferencias temporales (agosto de 1988)

    Influencia directa documentada

    Sutton y Barto sitúan en la programación dinámica y la ecuación de Bellman uno de los orígenes del aprendizaje por refuerzo; los métodos de diferencias temporales aproximan esa ecuación

  • Q-learning (1989)

    Influencia directa documentada

    Watkins plantea el aprendizaje por refuerzo como programación dinámica incremental, y Q-learning es la ecuación de Bellman convertida en regla de aprendizaje

Hilos que pasan por aquí

Bibliografía

Cómo citar

«Dynamic Programming». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/bellman-programacion-dinamica

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva