La historia de la IA

Diferencias temporales

Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Aprendizaje por refuerzo

Linaje
Datos y aprendizaje
Tipo
Publicación

Quién

GTE Laboratories

Qué ocurrió

Richard Sutton publica en la revista Machine Learning «Learning to Predict by the Methods of Temporal Differences», donde formaliza y analiza el aprendizaje por diferencias temporales.

Qué aportó

Un sistema aprende a predecir corrigiendo cada estimación con la siguiente, sin esperar al resultado final. Es uno de los pilares del aprendizaje por refuerzo.

Desarrollo

Para aprender a predecir el resultado de una partida o el tiempo que hará el sábado, el método clásico espera a conocer el resultado y entonces corrige la predicción. Sutton propuso otra cosa: comparar cada predicción con la siguiente. Si el lunes se estima un 50 % de lluvia para el sábado y el martes un 70 %, la diferencia ya es información, y la predicción del lunes se puede corregir sin esperar al fin de semana.

La idea tenía antecedentes, desde el programa de damas de Samuel, que ajustaba su evaluación de una posición con la de posiciones posteriores, hasta los modelos de condicionamiento animal en los que Sutton y Andrew Barto trabajaban desde finales de los setenta en la Universidad de Massachusetts. El artículo de 1988 la convirtió en una familia de algoritmos, TD(λ), con un parámetro que gradúa cuánto pesan las predicciones lejanas, y demostró que en ciertos casos converge y aprende con menos datos que los métodos que esperan al final.

Las diferencias temporales resultaron ser también un buen modelo del cerebro: años después se vio que las neuronas de dopamina responden de forma parecida al error de predicción que usa el algoritmo.

El método está en el corazón de Q-learning, de TD-Gammon y, combinado con redes profundas, del sistema que aprendió a jugar a Atari desde los píxeles. Sutton y Barto recibieron el premio Turing de 2024, anunciado en 2025, por fundar el aprendizaje por refuerzo.

Gráfico de barras con la probabilidad de lluvia para el sábado estimada cada día: 50 % el lunes y 70 % el martes; el sábado llueve. Una flecha corta lleva del martes al lunes y representa la corrección por diferencias temporales. Una flecha discontinua larga va del sábado al lunes y representa el método clásico, que espera al resultado.

El lunes se predice un 50 % de lluvia para el sábado y el martes un 70 %: la diferencia basta para corregir la predicción del lunes.

Nivel técnico

En la forma que se usa hoy, sea V(s) la predicción en el estado s. Tras pasar al estado s′ y recibir la recompensa r, el error de diferencia temporal es δ = r + γ·V(s′) − V(s), y la predicción se corrige con V(s) ← V(s) + α·δ. α es la tasa de aprendizaje, y γ, entre 0 y 1, un descuento que da menos peso a lo lejano.

Es lo que el ejemplo de la lluvia hace con la predicción del lunes: su objetivo no es el resultado final, sino la estimación siguiente. El método aprende de una estimación a otra.

TD(λ) gradúa entre dos extremos. Con λ = 0 solo mira un paso adelante; con λ = 1 equivale a esperar al resultado final. Los valores intermedios reparten cada error entre los estados recientes mediante una traza que se apaga con el tiempo.

Viene de

  • Ley del efecto (1898)

    Herencia sin relación directa demostrada

    La ley del efecto es el antecedente conceptual, sin continuidad directa entre autores

  • Programa de damas de Samuel (1952)

    Influencia directa documentada

    El método de diferencias temporales parte del trabajo de Samuel. Sutton y Barto escriben que Samuel fue el primero en proponer e implementar un método de aprendizaje con ideas de diferencias temporales, dentro de su programa de damas

  • Dynamic Programming (1957)

    Influencia directa documentada

    Sutton y Barto sitúan en la programación dinámica y la ecuación de Bellman uno de los orígenes del aprendizaje por refuerzo; los métodos de diferencias temporales aproximan esa ecuación

  • El reflejo condicionado (23 de abril de 1903)

    Herencia sin relación directa demostrada

    Sutton y Barto desarrollan el aprendizaje por diferencias temporales también como modelo del condicionamiento clásico, el fenómeno que describió Pávlov

Lleva a

  • TD-Gammon (1992)

    Influencia directa documentada

    Tesauro aplica el algoritmo directamente

  • Q-learning (1989)

    Influencia directa documentada

    Según Sutton y Barto, Q-learning reúne en 1989 el hilo de las diferencias temporales y el del control óptimo

  • Premio Turing a Barto y Sutton (5 de marzo de 2025)

    Influencia directa documentada

    La ACM premia los fundamentos conceptuales y algorítmicos del aprendizaje por refuerzo, entre ellos el aprendizaje por diferencias temporales

Hilos que pasan por aquí

Bibliografía

Cómo citar

«Diferencias temporales». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/sutton-diferencias-temporales

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva