Mecanismo de atención
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Aprendizaje profundo
- Linaje
- Neuronas y redes
- Tipo
- Publicación
Quién
Universidad de Montreal
Qué ocurrió
Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio publican en arXiv un traductor neuronal que, al escribir cada palabra, aprende a buscar las partes de la frase de origen que le sirven. Se presenta como comunicación oral en ICLR 2015.
Qué aportó
El mecanismo de atención: el modelo decide en cada paso a qué parte de la entrada mirar. Es la idea que el Transformer convertirá en su pieza central en 2017.
Desarrollo
Los modelos de secuencia a secuencia resumían toda la frase de origen en un único vector de tamaño fijo. Bahdanau, Cho y Bengio sostuvieron que ese vector era un cuello de botella: en una frase larga, no cabía todo lo necesario para traducirla bien.
Su propuesta fue dejar de comprimirlo todo en un solo vector. El codificador produce una representación para cada palabra de la frase de origen, y el decodificador, antes de escribir cada palabra de la traducción, hace una búsqueda suave: calcula cuánto le interesa cada una de esas representaciones y las combina con esos pesos. Nadie le dice qué palabra corresponde a cuál; el alineamiento se aprende junto con la traducción.
En la traducción del inglés al francés, el modelo alcanzó resultados comparables a los del mejor sistema estadístico de frases. Además, los pesos de atención se podían dibujar, y los alineamientos que mostraban coincidían con la intuición de un traductor humano.
La idea de que una red puede decidir por sí misma a qué parte de la entrada mirar resultó ser más general que la traducción. Tres años después, el Transformer prescindió de las redes recurrentes y se quedó solo con la atención.
Dos filas de cuatro cajas, h1 a h4, una por palabra de «the cat sat down». En la de arriba, la última caja lleva a un único vector c y de ahí al traductor. En la de abajo, las cuatro cajas se unen con la caja «palabra siguiente» mediante líneas de grosor distinto, con pesos de 0,1, 0,7, 0,15 y 0,05; la más gruesa sale de «cat».
Nivel técnico
Para escribir la palabra i, el decodificador calcula un vector de contexto propio: cᵢ = Σⱼ αᵢⱼ hⱼ, la media de los estados del codificador hⱼ ponderada por los pesos αᵢⱼ.
Los pesos salen de una pequeña red que puntúa lo bien que encaja cada estado hⱼ con el estado anterior del decodificador; un softmax convierte esas puntuaciones en pesos que suman 1. Toda la red, puntuación incluida, se entrena a la vez. El codificador es una red recurrente bidireccional, así que cada hⱼ resume la palabra j junto con lo que tiene a los dos lados.
Viene de
Secuencia a secuencia (3 de junio de 2014)
Influencia directa documentada
El artículo sostiene que el vector de longitud fija es un cuello de botella de la arquitectura codificador-decodificador y propone extenderla para que el modelo busque por sí mismo las partes de la frase de origen que importan
Lleva a
Transformer (12 de junio de 2017)
Influencia directa documentada
El Transformer elimina la recurrencia y conserva la atención
Hilos que pasan por aquí
- De la atención al Transformer (paso 2 de 4)
Bibliografía
Fuente original
- Neural Machine Translation by Jointly Learning to Align and Translate (arXiv:1409.0473) (se abre en una pestaña nueva). Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio, 2014
Cómo citar
«Mecanismo de atención». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/atencion-bahdanau
Última revisión de esta ficha: 13 de noviembre de 2026.