La historia de la IA

Convergencia de Q-learning

Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Aprendizaje por refuerzo

Linaje
Datos y aprendizaje
Tipo
Formulación

Quién

Qué ocurrió

Chris Watkins y Peter Dayan publican «Q-learning» en Machine Learning, con la demostración de que el algoritmo converge a los valores óptimos.

Qué aportó

Garantiza que, si todas las acciones se prueban suficientes veces y el aprendizaje se va moderando, Q-learning encuentra los valores de acción óptimos con probabilidad uno.

Desarrollo

Un algoritmo que funciona en los experimentos no es lo mismo que uno del que se sabe que funciona. La tesis de Watkins solo esbozaba por qué Q-learning debía converger, y el campo necesitaba una garantía para construir sobre él.

Peter Dayan y Watkins dieron la demostración completa en un número especial de Machine Learning dedicado al aprendizaje por refuerzo. El resultado dice que, si el entorno es un proceso de decisión de Markov con estados y acciones finitos, si cada par de situación y acción se visita infinitas veces y si el tamaño de los pasos de aprendizaje disminuye de la forma adecuada, los valores Q convergen a los óptimos con probabilidad uno.

La prueba se apoya en una construcción ingeniosa, un proceso artificial de repetición de la experiencia que el agente vive, y en ella los valores aprendidos son exactamente los valores óptimos de ese proceso. Cuando el número de experiencias crece, ese proceso se parece cada vez más al real.

Las condiciones son exigentes: no se cumplen cuando se usa una red neuronal para aproximar los valores, y de hecho entonces el algoritmo puede divergir. Por eso DQN, en 2013, tuvo que añadir trucos para estabilizarlo. Pero el resultado de 1992 dio al aprendizaje por refuerzo tabular una base teórica firme.

Bibliografía

Fuente original

Cómo citar

«Convergencia de Q-learning». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/q-learning-convergencia

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva