Q-learning
Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Aprendizaje por refuerzo
- Linaje
- Datos y aprendizaje
- Tipo
- Formulación
Quién
Universidad de Cambridge
Qué ocurrió
Chris Watkins presenta en Cambridge su tesis doctoral, Learning from Delayed Rewards, que plantea el aprendizaje por refuerzo como control de un proceso de decisión de Markov por programación dinámica incremental e introduce Q-learning.
Qué aportó
Un agente aprende el valor de cada acción en cada situación a partir de su experiencia, sin conocer de antemano cómo funciona el entorno. Une la programación dinámica de Bellman con las diferencias temporales.
Desarrollo
La programación dinámica de Bellman resuelve problemas de decisión en varias etapas, pero necesita un modelo completo del entorno: qué ocurre con cada acción y con qué probabilidad. Un animal o un robot no tienen ese modelo; solo pueden actuar y ver qué pasa. Watkins se preguntó cómo aprender a decidir bien en esas condiciones.
Su respuesta fue aprender directamente una tabla de valores Q: para cada situación y cada acción posible, cuánta recompensa futura cabe esperar si se toma esa acción y después se sigue actuando lo mejor posible. Cada vez que el agente actúa, observa la recompensa inmediata y la nueva situación, y corrige el valor de la acción tomada acercándolo a esa recompensa más el mejor valor de la situación siguiente. Es la ecuación de Bellman convertida en una regla de aprendizaje por diferencias temporales.
Q-learning tiene una propiedad muy útil: aprende la mejor política aunque el agente esté explorando y tome a veces acciones que no son las mejores. Eso permite separar el aprender del actuar.
La tesis daba un esbozo de prueba de que el método converge. La versión completa, con Peter Dayan, llegó en 1992. Q-learning se convirtió en el algoritmo más conocido del campo, y en 2013 DeepMind lo combinó con una red convolucional en DQN para jugar a Atari a partir de los píxeles.
Nivel técnico
La regla de Q-learning cabe en una línea: Q(s, a) ← Q(s, a) + α·[r + γ·máx Q(s′, a′) − Q(s, a)], donde el máximo se toma sobre las acciones a′ posibles en s′. Tras tomar la acción a en el estado s, el agente recibe la recompensa r y llega a s′; lo que va entre corchetes es el error de diferencia temporal.
El máximo es lo que permite separar el aprender del actuar: el objetivo usa la mejor acción del estado siguiente, no la que el agente tome de verdad. El agente puede explorar, por ejemplo eligiendo al azar con una probabilidad pequeña, y aun así aprender los valores de la mejor política.
Con una tabla, Watkins y Dayan demostraron en 1992 que el método converge a los valores óptimos si cada par de estado y acción se prueba infinitas veces y la tasa α decrece de forma adecuada. Con una red neuronal en lugar de la tabla esa garantía se pierde, y DQN necesitó trucos como la repetición de experiencias pasadas para que el aprendizaje fuera estable.
Viene de
Diferencias temporales (agosto de 1988)
Influencia directa documentada
Según Sutton y Barto, Q-learning reúne en 1989 el hilo de las diferencias temporales y el del control óptimo
Dynamic Programming (1957)
Influencia directa documentada
Watkins plantea el aprendizaje por refuerzo como programación dinámica incremental, y Q-learning es la ecuación de Bellman convertida en regla de aprendizaje
Lleva a
DQN (19 de diciembre de 2013)
Influencia directa documentada
DQN es Q-learning con una red profunda
Hilos que pasan por aquí
- Del premio al alineamiento (paso 5 de 12)
Bibliografía
Fuente original
- Learning from Delayed Rewards (tesis doctoral, Universidad de Cambridge) (se abre en una pestaña nueva). Christopher J. C. H. Watkins, 1989
- Reinforcement Learning: An Introduction, 1.ª edición, MIT Press. Apartado «History of Reinforcement Learning» de la edición en línea (se abre en una pestaña nueva), apartado «History of Reinforcement Learning». Richard S. Sutton y Andrew G. Barto, 1998
Cómo citar
«Q-learning». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/watkins-q-learning
Última revisión de esta ficha: 13 de noviembre de 2026.