La historia de la IA

DQN

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Aprendizaje por refuerzo profundo

Linaje
Datos y aprendizaje
Tipo
Publicación

Quién

DeepMind

Qué ocurrió

Volodymyr Mnih y sus colegas de DeepMind publican en arXiv una red convolucional que aprende a jugar a videojuegos de Atari a partir de los píxeles de la pantalla y la puntuación, con una variante del Q-learning. La versión ampliada sale en Nature el 25 de febrero de 2015.

Qué aportó

Un mismo programa, sin cambiar nada, aprende a jugar a juegos distintos solo con lo que ve en la pantalla. Abre el aprendizaje por refuerzo profundo.

Desarrollo

El Q-learning aprende cuánto vale cada acción en cada situación, pero necesita que alguien describa la situación con unas pocas variables. Con una pantalla de videojuego como entrada, el número de situaciones posibles es inmenso, y los intentos de aproximar los valores con redes neuronales solían volverse inestables.

El equipo de DeepMind combinó el Q-learning con una red convolucional que recibía directamente los píxeles. Para estabilizar el entrenamiento, el programa guardaba sus experiencias y aprendía de muestras tomadas al azar de esa memoria, en lugar de hacerlo solo de lo último que había pasado.

En el artículo de diciembre de 2013 lo probaron en siete juegos de la consola Atari 2600 sin cambiar la arquitectura ni el algoritmo. Superó a los métodos anteriores en seis y a un jugador experto en tres. La versión de Nature, de febrero de 2015, firmada por diecinueve autores, se tituló «Control a nivel humano mediante aprendizaje por refuerzo profundo».

El resultado mostró que una red podía aprender comportamientos complejos solo a partir de una recompensa, sin reglas escritas para cada juego. David Silver y Ioannis Antonoglou, dos de sus autores, firmarían también AlphaGo. Entre las dos versiones del artículo, en 2014, Google había comprado DeepMind.

Nivel técnico

El Q-learning estima Q(s, a), la recompensa futura que cabe esperar al tomar la acción a en la situación s. DQN la aproxima con una red convolucional y la entrena para acercarla a r + γ · maxₐ' Q(s', a'): la recompensa inmediata más el mejor valor de la situación siguiente, descontado por γ.

Dos recursos evitan que el entrenamiento se desestabilice. La repetición de experiencias guarda las transiciones en una memoria y entrena con muestras al azar, lo que rompe la correlación entre pasos seguidos. En la versión de Nature, además, el objetivo se calcula con una copia de la red que solo se actualiza cada cierto número de pasos. La entrada son los últimos cuatro fotogramas, reducidos a 84 × 84 píxeles en gris.

Vídeos

Viene de

  • Q-learning (1989)

    Influencia directa documentada

    DQN es Q-learning con una red profunda

Lleva a

  • Aprendizaje por refuerzo a partir de preferencias humanas (12 de junio de 2017)

    Herencia sin relación directa demostrada

    El artículo arranca del éxito del refuerzo profundo en problemas con recompensa bien definida (cita a Mnih et al., 2015) y lo lleva a tareas sin función de recompensa, entre ellas los mismos juegos de Atari. Para Atari no usa DQN sino A2C

  • AlphaGo vence a Fan Hui (5 de octubre de 2015)

    Herencia sin relación directa demostrada

    Mismo laboratorio y misma combinación de aprendizaje por refuerzo y redes profundas; David Silver firma los dos artículos. AlphaGo no usa el algoritmo de DQN

Hilos que pasan por aquí

Bibliografía

Cómo citar

«DQN». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/dqn

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva