La historia de la IA

TD-Gammon

Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Aprendizaje por refuerzo

Linaje
Datos y aprendizaje
Tipo
Implementación

Quién

IBM

Qué ocurrió

Gerald Tesauro, del centro de investigación Thomas J. Watson de IBM, desarrolla TD-Gammon, un programa de backgammon con una red neuronal que aprende jugando contra sí misma con diferencias temporales.

Qué aportó

Una red que aprende jugando contra sí misma, en su primera versión sin ningún conocimiento experto, alcanza un nivel cercano al de los mejores jugadores humanos y descubre jugadas que cambian la teoría del juego.

Desarrollo

Tesauro había intentado antes enseñar backgammon a una red neuronal con partidas comentadas por expertos, y el resultado era un jugador correcto pero no brillante. Con TD-Gammon cambió de método: la red jugaba contra sí misma, empezando desde pesos al azar, y después de cada jugada ajustaba su evaluación de la posición anterior con la de la posición siguiente, usando el TD(λ) de Sutton.

Al principio las partidas eran absurdas, porque los dos bandos jugaban mal. Pero el azar de los dados obligaba a explorar posiciones variadas, y la red fue mejorando. Las versiones siguientes recibieron además rasgos del tablero diseñados por expertos y una búsqueda corta de dos o tres jugadas. La versión 2.1, de 1993, se entrenó con un millón y medio de partidas y jugaba a un nivel algo inferior al de los mejores humanos. En una serie de cien partidas en 1998 perdió contra el campeón del mundo por solo ocho puntos.

Su efecto en el propio juego fue llamativo. TD-Gammon prefería en algunas aperturas jugadas que los expertos consideraban inferiores, los jugadores las analizaron, comprobaron que el programa tenía razón y cambiaron su forma de jugar.

TD-Gammon fue durante veinte años el gran ejemplo del aprendizaje por refuerzo con redes neuronales. Su idea de una red que evalúa posiciones y mejora jugando contra sí misma reaparece en AlphaGo y AlphaZero, que le añaden búsqueda en árbol y aprenden del resultado final de cada partida en lugar de las diferencias temporales.

Viene de

Lleva a

  • AlphaGo vence a Fan Hui (5 de octubre de 2015)

    Herencia sin relación directa demostrada

    Las dos combinan una red neuronal que evalúa posiciones con el aprendizaje jugando contra sí misma, con métodos de entrenamiento distintos

Hilos que pasan por aquí

Bibliografía

Cómo citar

«TD-Gammon». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/td-gammon

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva