TD-Gammon
Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Aprendizaje por refuerzo
- Linaje
- Datos y aprendizaje
- Tipo
- Implementación
Quién
IBM
Qué ocurrió
Gerald Tesauro, del centro de investigación Thomas J. Watson de IBM, desarrolla TD-Gammon, un programa de backgammon con una red neuronal que aprende jugando contra sí misma con diferencias temporales.
Qué aportó
Una red que aprende jugando contra sí misma, en su primera versión sin ningún conocimiento experto, alcanza un nivel cercano al de los mejores jugadores humanos y descubre jugadas que cambian la teoría del juego.
Desarrollo
Tesauro había intentado antes enseñar backgammon a una red neuronal con partidas comentadas por expertos, y el resultado era un jugador correcto pero no brillante. Con TD-Gammon cambió de método: la red jugaba contra sí misma, empezando desde pesos al azar, y después de cada jugada ajustaba su evaluación de la posición anterior con la de la posición siguiente, usando el TD(λ) de Sutton.
Al principio las partidas eran absurdas, porque los dos bandos jugaban mal. Pero el azar de los dados obligaba a explorar posiciones variadas, y la red fue mejorando. Las versiones siguientes recibieron además rasgos del tablero diseñados por expertos y una búsqueda corta de dos o tres jugadas. La versión 2.1, de 1993, se entrenó con un millón y medio de partidas y jugaba a un nivel algo inferior al de los mejores humanos. En una serie de cien partidas en 1998 perdió contra el campeón del mundo por solo ocho puntos.
Su efecto en el propio juego fue llamativo. TD-Gammon prefería en algunas aperturas jugadas que los expertos consideraban inferiores, los jugadores las analizaron, comprobaron que el programa tenía razón y cambiaron su forma de jugar.
TD-Gammon fue durante veinte años el gran ejemplo del aprendizaje por refuerzo con redes neuronales. Su idea de una red que evalúa posiciones y mejora jugando contra sí misma reaparece en AlphaGo y AlphaZero, que le añaden búsqueda en árbol y aprenden del resultado final de cada partida en lugar de las diferencias temporales.
Viene de
Diferencias temporales (agosto de 1988)
Influencia directa documentada
Tesauro aplica el algoritmo directamente
Lleva a
AlphaGo vence a Fan Hui (5 de octubre de 2015)
Herencia sin relación directa demostrada
Las dos combinan una red neuronal que evalúa posiciones con el aprendizaje jugando contra sí misma, con métodos de entrenamiento distintos
Hilos que pasan por aquí
- Del premio al alineamiento (paso 6 de 12)
- Máquinas contra campeones (paso 3 de 7)
Bibliografía
Fuente original
Cómo citar
«TD-Gammon». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/td-gammon
Última revisión de esta ficha: 13 de noviembre de 2026.