La historia de la IA

Q-learning

Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Aprendizaje por refuerzo

Linaje
Datos y aprendizaje
Tipo
Formulación

Quién

Universidad de Cambridge

Qué ocurrió

Chris Watkins presenta en Cambridge su tesis doctoral, Learning from Delayed Rewards, que plantea el aprendizaje por refuerzo como control de un proceso de decisión de Markov por programación dinámica incremental e introduce Q-learning.

Qué aportó

Un agente aprende el valor de cada acción en cada situación a partir de su experiencia, sin conocer de antemano cómo funciona el entorno. Une la programación dinámica de Bellman con las diferencias temporales.

Desarrollo

La programación dinámica de Bellman resuelve problemas de decisión en varias etapas, pero necesita un modelo completo del entorno: qué ocurre con cada acción y con qué probabilidad. Un animal o un robot no tienen ese modelo; solo pueden actuar y ver qué pasa. Watkins se preguntó cómo aprender a decidir bien en esas condiciones.

Su respuesta fue aprender directamente una tabla de valores Q: para cada situación y cada acción posible, cuánta recompensa futura cabe esperar si se toma esa acción y después se sigue actuando lo mejor posible. Cada vez que el agente actúa, observa la recompensa inmediata y la nueva situación, y corrige el valor de la acción tomada acercándolo a esa recompensa más el mejor valor de la situación siguiente. Es la ecuación de Bellman convertida en una regla de aprendizaje por diferencias temporales.

Q-learning tiene una propiedad muy útil: aprende la mejor política aunque el agente esté explorando y tome a veces acciones que no son las mejores. Eso permite separar el aprender del actuar.

La tesis daba un esbozo de prueba de que el método converge. La versión completa, con Peter Dayan, llegó en 1992. Q-learning se convirtió en el algoritmo más conocido del campo, y en 2013 DeepMind lo combinó con una red convolucional en DQN para jugar a Atari a partir de los píxeles.

Nivel técnico

La regla de Q-learning cabe en una línea: Q(s, a) ← Q(s, a) + α·[r + γ·máx Q(s′, a′) − Q(s, a)], donde el máximo se toma sobre las acciones a′ posibles en s′. Tras tomar la acción a en el estado s, el agente recibe la recompensa r y llega a s′; lo que va entre corchetes es el error de diferencia temporal.

El máximo es lo que permite separar el aprender del actuar: el objetivo usa la mejor acción del estado siguiente, no la que el agente tome de verdad. El agente puede explorar, por ejemplo eligiendo al azar con una probabilidad pequeña, y aun así aprender los valores de la mejor política.

Con una tabla, Watkins y Dayan demostraron en 1992 que el método converge a los valores óptimos si cada par de estado y acción se prueba infinitas veces y la tasa α decrece de forma adecuada. Con una red neuronal en lugar de la tabla esa garantía se pierde, y DQN necesitó trucos como la repetición de experiencias pasadas para que el aprendizaje fuera estable.

Viene de

  • Diferencias temporales (agosto de 1988)

    Influencia directa documentada

    Según Sutton y Barto, Q-learning reúne en 1989 el hilo de las diferencias temporales y el del control óptimo

  • Dynamic Programming (1957)

    Influencia directa documentada

    Watkins plantea el aprendizaje por refuerzo como programación dinámica incremental, y Q-learning es la ecuación de Bellman convertida en regla de aprendizaje

Lleva a

  • DQN (19 de diciembre de 2013)

    Influencia directa documentada

    DQN es Q-learning con una red profunda

Hilos que pasan por aquí

Bibliografía

Cómo citar

«Q-learning». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/watkins-q-learning

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva