DQN
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Aprendizaje por refuerzo profundo
- Linaje
- Datos y aprendizaje
- Tipo
- Publicación
Quién
DeepMind
Qué ocurrió
Volodymyr Mnih y sus colegas de DeepMind publican en arXiv una red convolucional que aprende a jugar a videojuegos de Atari a partir de los píxeles de la pantalla y la puntuación, con una variante del Q-learning. La versión ampliada sale en Nature el 25 de febrero de 2015.
Qué aportó
Un mismo programa, sin cambiar nada, aprende a jugar a juegos distintos solo con lo que ve en la pantalla. Abre el aprendizaje por refuerzo profundo.
Desarrollo
El Q-learning aprende cuánto vale cada acción en cada situación, pero necesita que alguien describa la situación con unas pocas variables. Con una pantalla de videojuego como entrada, el número de situaciones posibles es inmenso, y los intentos de aproximar los valores con redes neuronales solían volverse inestables.
El equipo de DeepMind combinó el Q-learning con una red convolucional que recibía directamente los píxeles. Para estabilizar el entrenamiento, el programa guardaba sus experiencias y aprendía de muestras tomadas al azar de esa memoria, en lugar de hacerlo solo de lo último que había pasado.
En el artículo de diciembre de 2013 lo probaron en siete juegos de la consola Atari 2600 sin cambiar la arquitectura ni el algoritmo. Superó a los métodos anteriores en seis y a un jugador experto en tres. La versión de Nature, de febrero de 2015, firmada por diecinueve autores, se tituló «Control a nivel humano mediante aprendizaje por refuerzo profundo».
El resultado mostró que una red podía aprender comportamientos complejos solo a partir de una recompensa, sin reglas escritas para cada juego. David Silver y Ioannis Antonoglou, dos de sus autores, firmarían también AlphaGo. Entre las dos versiones del artículo, en 2014, Google había comprado DeepMind.
Nivel técnico
El Q-learning estima Q(s, a), la recompensa futura que cabe esperar al tomar la acción a en la situación s. DQN la aproxima con una red convolucional y la entrena para acercarla a r + γ · maxₐ' Q(s', a'): la recompensa inmediata más el mejor valor de la situación siguiente, descontado por γ.
Dos recursos evitan que el entrenamiento se desestabilice. La repetición de experiencias guarda las transiciones en una memoria y entrena con muestras al azar, lo que rompe la correlación entre pasos seguidos. En la versión de Nature, además, el objetivo se calcula con una copia de la red que solo se actualiza cada cierto número de pasos. La entrada son los últimos cuatro fotogramas, reducidos a 84 × 84 píxeles en gris.
Vídeos
- DQN Breakout (se abre en una pestaña nueva) (Google DeepMind · en inglés)
Viene de
Q-learning (1989)
Influencia directa documentada
DQN es Q-learning con una red profunda
Lleva a
Aprendizaje por refuerzo a partir de preferencias humanas (12 de junio de 2017)
Herencia sin relación directa demostrada
El artículo arranca del éxito del refuerzo profundo en problemas con recompensa bien definida (cita a Mnih et al., 2015) y lo lleva a tareas sin función de recompensa, entre ellas los mismos juegos de Atari. Para Atari no usa DQN sino A2C
AlphaGo vence a Fan Hui (5 de octubre de 2015)
Herencia sin relación directa demostrada
Mismo laboratorio y misma combinación de aprendizaje por refuerzo y redes profundas; David Silver firma los dos artículos. AlphaGo no usa el algoritmo de DQN
Hilos que pasan por aquí
- Del premio al alineamiento (paso 7 de 12)
- De Atari al go (paso 1 de 4)
Bibliografía
- Playing Atari with Deep Reinforcement Learning (arXiv:1312.5602) (se abre en una pestaña nueva). Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra y Martin Riedmiller, 2013
- Human-level control through deep reinforcement learning. Nature, 518(7540), pp. 529-533 (se abre en una pestaña nueva). Volodymyr Mnih, Koray Kavukcuoglu, David Silver y otros, 2015
Cómo citar
«DQN». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/dqn
Última revisión de esta ficha: 13 de noviembre de 2026.