La historia de la IA

Transformer

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje

Linaje
Neuronas y redes
Tipo
Publicación

Quién

Google Brain, Google Research

Qué ocurrió

Ocho investigadores de Google Brain y Google Research publican en arXiv «Attention Is All You Need» el 12 de junio de 2017, y el artículo sale después en las actas de NIPS 2017. Proponen el Transformer, una arquitectura para traducir que se apoya solo en mecanismos de atención.

Qué aportó

Elimina la recurrencia: el modelo procesa todas las palabras de la frase a la vez y se entrena mucho más deprisa. Es la arquitectura sobre la que se construyen BERT, la serie GPT y la mayoría de los grandes modelos de lenguaje.

Desarrollo

En 2017 la traducción automática neuronal usaba modelos secuencia a secuencia: una red recurrente leía la frase de origen palabra a palabra y otra escribía la traducción, con un mecanismo de atención que le dejaba mirar las partes de la frase que necesitaba en cada momento. El freno era la recurrencia. Cada paso depende del anterior, y los autores señalan que esa naturaleza secuencial impide repartir el cálculo de un mismo ejemplo entre muchos procesadores.

El Transformer quita la recurrencia y deja solo la atención. Cada palabra se compara con todas las demás de la frase a la vez, y el modelo lo hace con varias «cabezas» de atención en paralelo, ocho en el modelo base, que pueden fijarse en relaciones distintas. El codificador y el decodificador son pilas de seis capas iguales. Como el modelo ya no recorre la frase en orden, recibe la posición de cada palabra como un dato más.

El resultado fue mejor y más barato. En la traducción del inglés al alemán de WMT 2014 alcanzó 28,4 puntos BLEU, y en la del inglés al francés, 41,8, un récord para un solo modelo. El modelo grande se entrenó en tres días y medio con ocho GPU.

Al año siguiente GPT-1 y BERT tomaron el Transformer como base, y en 2020 el Vision Transformer lo llevó a las imágenes. En 2026 el artículo pasa de 250.000 citas y está entre los diez más citados del siglo XXI. Sus ocho autores dejaron Google en los años siguientes para fundar empresas o unirse a otras, y Noam Shazeer volvió en 2024 para codirigir Gemini.

Dos columnas de cajas apiladas. La izquierda, el codificador, tiene atención multicabeza, suma y normalización, red prealimentada y otra suma y normalización. La derecha, el decodificador, tiene además una atención enmascarada y una atención al codificador, a la que llega una flecha desde la columna izquierda. Encima, una capa lineal y un softmax.

A la izquierda, el codificador lee la frase; a la derecha, el decodificador escribe la salida palabra a palabra y consulta al codificador. Cada columna repite su bloque N veces: seis en el artículo.

Nivel técnico

La pieza central es la atención de producto escalar: Atención(Q, K, V) = softmax(QKᵀ / √d_k) V. Cada palabra produce una consulta (Q), una clave (K) y un valor (V), y el parecido entre consultas y claves decide cuánto aporta cada valor. Dividir entre √d_k evita que los productos crezcan con la dimensión y saturen el softmax.

La atención multicabeza hace ocho de estas atenciones en paralelo, cada una con sus propias proyecciones, y une los resultados. Como no hay recurrencia, el orden de las palabras entra con una codificación de posición hecha de senos y cosenos que se suma a los vectores de entrada.

El modelo base tiene seis capas en el codificador y seis en el decodificador, con vectores de 512 dimensiones.

Malentendidos frecuentes

  • Se suele decir: El Transformer inventó la atención.

    En realidad: La atención en traducción automática es de 2014, de Bahdanau, Cho y Bengio. Lo nuevo del Transformer fue prescindir de las redes recurrentes y construirlo todo con atención.

Vídeos

Viene de

  • Secuencia a secuencia (3 de junio de 2014), Mecanismo de atención (1 de septiembre de 2014)

    Influencia directa documentada

    El Transformer elimina la recurrencia y conserva la atención

  • ResNet (10 de diciembre de 2015)

    Influencia directa documentada

    El Transformer emplea «una conexión residual» alrededor de cada subcapa del codificador y del decodificador, citando a He y otros (apartado 3.1)

Lleva a

  • ELMo, GPT-1 y BERT (15 de febrero de 2018)

    Influencia directa documentada

    GPT-1 combina «los Transformers y el preentrenamiento sin supervisión», y la arquitectura de BERT es «un codificador Transformer bidireccional de varias capas» basado en la implementación original de Vaswani y otros

  • Vision Transformer (22 de octubre de 2020)

    Influencia directa documentada

    El artículo aplica «un Transformer puro directamente a secuencias de parches de imagen»

  • AlphaFold 2 (noviembre de 2020)

    Herencia sin relación directa demostrada

    Los bloques Evoformer de AlphaFold 2 se basan en la atención y su módulo de estructura usa un «Transformer equivariante»; el artículo no presenta su diseño como una adaptación directa del Transformer

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«Transformer». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/transformer

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva