Diferencias temporales
Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Aprendizaje por refuerzo
- Linaje
- Datos y aprendizaje
- Tipo
- Publicación
Quién
GTE Laboratories
Qué ocurrió
Richard Sutton publica en la revista Machine Learning «Learning to Predict by the Methods of Temporal Differences», donde formaliza y analiza el aprendizaje por diferencias temporales.
Qué aportó
Un sistema aprende a predecir corrigiendo cada estimación con la siguiente, sin esperar al resultado final. Es uno de los pilares del aprendizaje por refuerzo.
Desarrollo
Para aprender a predecir el resultado de una partida o el tiempo que hará el sábado, el método clásico espera a conocer el resultado y entonces corrige la predicción. Sutton propuso otra cosa: comparar cada predicción con la siguiente. Si el lunes se estima un 50 % de lluvia para el sábado y el martes un 70 %, la diferencia ya es información, y la predicción del lunes se puede corregir sin esperar al fin de semana.
La idea tenía antecedentes, desde el programa de damas de Samuel, que ajustaba su evaluación de una posición con la de posiciones posteriores, hasta los modelos de condicionamiento animal en los que Sutton y Andrew Barto trabajaban desde finales de los setenta en la Universidad de Massachusetts. El artículo de 1988 la convirtió en una familia de algoritmos, TD(λ), con un parámetro que gradúa cuánto pesan las predicciones lejanas, y demostró que en ciertos casos converge y aprende con menos datos que los métodos que esperan al final.
Las diferencias temporales resultaron ser también un buen modelo del cerebro: años después se vio que las neuronas de dopamina responden de forma parecida al error de predicción que usa el algoritmo.
El método está en el corazón de Q-learning, de TD-Gammon y, combinado con redes profundas, del sistema que aprendió a jugar a Atari desde los píxeles. Sutton y Barto recibieron el premio Turing de 2024, anunciado en 2025, por fundar el aprendizaje por refuerzo.
Gráfico de barras con la probabilidad de lluvia para el sábado estimada cada día: 50 % el lunes y 70 % el martes; el sábado llueve. Una flecha corta lleva del martes al lunes y representa la corrección por diferencias temporales. Una flecha discontinua larga va del sábado al lunes y representa el método clásico, que espera al resultado.
Nivel técnico
En la forma que se usa hoy, sea V(s) la predicción en el estado s. Tras pasar al estado s′ y recibir la recompensa r, el error de diferencia temporal es δ = r + γ·V(s′) − V(s), y la predicción se corrige con V(s) ← V(s) + α·δ. α es la tasa de aprendizaje, y γ, entre 0 y 1, un descuento que da menos peso a lo lejano.
Es lo que el ejemplo de la lluvia hace con la predicción del lunes: su objetivo no es el resultado final, sino la estimación siguiente. El método aprende de una estimación a otra.
TD(λ) gradúa entre dos extremos. Con λ = 0 solo mira un paso adelante; con λ = 1 equivale a esperar al resultado final. Los valores intermedios reparten cada error entre los estados recientes mediante una traza que se apaga con el tiempo.
Viene de
Ley del efecto (1898)
Herencia sin relación directa demostrada
La ley del efecto es el antecedente conceptual, sin continuidad directa entre autores
Programa de damas de Samuel (1952)
Influencia directa documentada
El método de diferencias temporales parte del trabajo de Samuel. Sutton y Barto escriben que Samuel fue el primero en proponer e implementar un método de aprendizaje con ideas de diferencias temporales, dentro de su programa de damas
Dynamic Programming (1957)
Influencia directa documentada
Sutton y Barto sitúan en la programación dinámica y la ecuación de Bellman uno de los orígenes del aprendizaje por refuerzo; los métodos de diferencias temporales aproximan esa ecuación
El reflejo condicionado (23 de abril de 1903)
Herencia sin relación directa demostrada
Sutton y Barto desarrollan el aprendizaje por diferencias temporales también como modelo del condicionamiento clásico, el fenómeno que describió Pávlov
Lleva a
TD-Gammon (1992)
Influencia directa documentada
Tesauro aplica el algoritmo directamente
Q-learning (1989)
Influencia directa documentada
Según Sutton y Barto, Q-learning reúne en 1989 el hilo de las diferencias temporales y el del control óptimo
Premio Turing a Barto y Sutton (5 de marzo de 2025)
Influencia directa documentada
La ACM premia los fundamentos conceptuales y algorítmicos del aprendizaje por refuerzo, entre ellos el aprendizaje por diferencias temporales
Hilos que pasan por aquí
- Del premio al alineamiento (paso 4 de 12)
- Máquinas contra campeones (paso 2 de 7)
Bibliografía
Fuente original
- Learning to Predict by the Methods of Temporal Differences. Machine Learning, 3(1), pp. 9-44 (se abre en una pestaña nueva). Richard S. Sutton, 1988
- Reinforcement Learning: An Introduction, 1.ª edición, MIT Press. Apartado «History of Reinforcement Learning» de la edición en línea (se abre en una pestaña nueva), apartado «History of Reinforcement Learning». Richard S. Sutton y Andrew G. Barto, 1998
Estudios y contexto
- ACM A.M. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology (nota de prensa de ACM, 5 de marzo de 2025) (se abre en una pestaña nueva). Association for Computing Machinery, 2025
Cómo citar
«Diferencias temporales». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/sutton-diferencias-temporales
Última revisión de esta ficha: 13 de noviembre de 2026.