Convergencia de Q-learning
Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Aprendizaje por refuerzo
- Linaje
- Datos y aprendizaje
- Tipo
- Formulación
Quién
Qué ocurrió
Chris Watkins y Peter Dayan publican «Q-learning» en Machine Learning, con la demostración de que el algoritmo converge a los valores óptimos.
Qué aportó
Garantiza que, si todas las acciones se prueban suficientes veces y el aprendizaje se va moderando, Q-learning encuentra los valores de acción óptimos con probabilidad uno.
Desarrollo
Un algoritmo que funciona en los experimentos no es lo mismo que uno del que se sabe que funciona. La tesis de Watkins solo esbozaba por qué Q-learning debía converger, y el campo necesitaba una garantía para construir sobre él.
Peter Dayan y Watkins dieron la demostración completa en un número especial de Machine Learning dedicado al aprendizaje por refuerzo. El resultado dice que, si el entorno es un proceso de decisión de Markov con estados y acciones finitos, si cada par de situación y acción se visita infinitas veces y si el tamaño de los pasos de aprendizaje disminuye de la forma adecuada, los valores Q convergen a los óptimos con probabilidad uno.
La prueba se apoya en una construcción ingeniosa, un proceso artificial de repetición de la experiencia que el agente vive, y en ella los valores aprendidos son exactamente los valores óptimos de ese proceso. Cuando el número de experiencias crece, ese proceso se parece cada vez más al real.
Las condiciones son exigentes: no se cumplen cuando se usa una red neuronal para aproximar los valores, y de hecho entonces el algoritmo puede divergir. Por eso DQN, en 2013, tuvo que añadir trucos para estabilizarlo. Pero el resultado de 1992 dio al aprendizaje por refuerzo tabular una base teórica firme.
Bibliografía
Fuente original
- Q-learning. Machine Learning, 8(3-4), pp. 279-292 (se abre en una pestaña nueva). Christopher J. C. H. Watkins y Peter Dayan, 1992
Cómo citar
«Convergencia de Q-learning». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/q-learning-convergencia
Última revisión de esta ficha: 13 de noviembre de 2026.