La historia de la IA

Mecanismo de atención

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Aprendizaje profundo

Linaje
Neuronas y redes
Tipo
Publicación

Quién

Universidad de Montreal

Qué ocurrió

Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio publican en arXiv un traductor neuronal que, al escribir cada palabra, aprende a buscar las partes de la frase de origen que le sirven. Se presenta como comunicación oral en ICLR 2015.

Qué aportó

El mecanismo de atención: el modelo decide en cada paso a qué parte de la entrada mirar. Es la idea que el Transformer convertirá en su pieza central en 2017.

Desarrollo

Los modelos de secuencia a secuencia resumían toda la frase de origen en un único vector de tamaño fijo. Bahdanau, Cho y Bengio sostuvieron que ese vector era un cuello de botella: en una frase larga, no cabía todo lo necesario para traducirla bien.

Su propuesta fue dejar de comprimirlo todo en un solo vector. El codificador produce una representación para cada palabra de la frase de origen, y el decodificador, antes de escribir cada palabra de la traducción, hace una búsqueda suave: calcula cuánto le interesa cada una de esas representaciones y las combina con esos pesos. Nadie le dice qué palabra corresponde a cuál; el alineamiento se aprende junto con la traducción.

En la traducción del inglés al francés, el modelo alcanzó resultados comparables a los del mejor sistema estadístico de frases. Además, los pesos de atención se podían dibujar, y los alineamientos que mostraban coincidían con la intuición de un traductor humano.

La idea de que una red puede decidir por sí misma a qué parte de la entrada mirar resultó ser más general que la traducción. Tres años después, el Transformer prescindió de las redes recurrentes y se quedó solo con la atención.

Dos filas de cuatro cajas, h1 a h4, una por palabra de «the cat sat down». En la de arriba, la última caja lleva a un único vector c y de ahí al traductor. En la de abajo, las cuatro cajas se unen con la caja «palabra siguiente» mediante líneas de grosor distinto, con pesos de 0,1, 0,7, 0,15 y 0,05; la más gruesa sale de «cat».

Arriba, el codificador comprime toda la frase en un solo vector c. Abajo, con atención, cada palabra de la traducción pondera todos los estados del codificador. Los pesos α son un ejemplo.

Nivel técnico

Para escribir la palabra i, el decodificador calcula un vector de contexto propio: cᵢ = Σⱼ αᵢⱼ hⱼ, la media de los estados del codificador hⱼ ponderada por los pesos αᵢⱼ.

Los pesos salen de una pequeña red que puntúa lo bien que encaja cada estado hⱼ con el estado anterior del decodificador; un softmax convierte esas puntuaciones en pesos que suman 1. Toda la red, puntuación incluida, se entrena a la vez. El codificador es una red recurrente bidireccional, así que cada hⱼ resume la palabra j junto con lo que tiene a los dos lados.

Viene de

  • Secuencia a secuencia (3 de junio de 2014)

    Influencia directa documentada

    El artículo sostiene que el vector de longitud fija es un cuello de botella de la arquitectura codificador-decodificador y propone extenderla para que el modelo busque por sí mismo las partes de la frase de origen que importan

Lleva a

  • Transformer (12 de junio de 2017)

    Influencia directa documentada

    El Transformer elimina la recurrencia y conserva la atención

Hilos que pasan por aquí

Bibliografía

Cómo citar

«Mecanismo de atención». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/atencion-bahdanau

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva