La historia de la IA

Secuencia a secuencia

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Aprendizaje profundo

Linaje
Neuronas y redes
Tipo
Publicación

Quién

Universidad de Montreal, Google

Qué ocurrió

Dos artículos de 2014 proponen traducir con dos redes recurrentes, una que resume la frase de origen en un vector y otra que escribe la traducción a partir de él: el de Kyunghyun Cho y colegas en Montreal (junio) y el de Ilya Sutskever, Oriol Vinyals y Quoc Le en Google (septiembre).

Qué aportó

Una sola red, entrenada de extremo a extremo, convierte una secuencia en otra de distinta longitud. Es la base de la traducción automática neuronal.

Desarrollo

La traducción automática de 2014 era estadística: tablas de frases equivalentes y modelos separados para el orden y la fluidez, ajustados durante años. Las redes neuronales se usaban como piezas auxiliares dentro de ese sistema.

En junio, Cho, Bengio y sus colegas propusieron un codificador-decodificador recurrente: una red comprime la frase de origen en un vector de longitud fija y otra genera la frase de destino a partir de él, y las dos se entrenan juntas. Lo usaron para puntuar pares de frases dentro de un traductor estadístico, y mejoró sus resultados.

En septiembre, Sutskever, Vinyals y Le llevaron la idea hasta el final con redes LSTM de varias capas que traducían solas. En la traducción del inglés al francés de WMT 2014 obtuvieron 34,8 puntos BLEU, frente a 33,3 de un sistema estadístico de frases. Descubrieron además un truco sencillo: invertir el orden de las palabras de la frase de origen mejoraba mucho el resultado, porque creaba muchas dependencias cortas entre las dos frases y facilitaba el entrenamiento.

El vector de tamaño fijo era el punto débil, porque en las frases largas se perdía información. Ese límite, visible ya en el modelo de Cho, llevó en septiembre al mecanismo de atención, que apareció en arXiv nueve días antes que el artículo de Sutskever. En 2016 Google rehízo su traductor sobre esta línea de trabajo.

Viene de

  • Traducción automática estadística de IBM (1988)

    Herencia sin relación directa demostrada

    La traducción neuronal de secuencia a secuencia se compara con la traducción estadística por frases, que es el sistema que viene a sustituir

Lleva a

  • Transformer (12 de junio de 2017)

    Influencia directa documentada

    El Transformer elimina la recurrencia y conserva la atención

  • Mecanismo de atención (1 de septiembre de 2014)

    Influencia directa documentada

    El artículo sostiene que el vector de longitud fija es un cuello de botella de la arquitectura codificador-decodificador y propone extenderla para que el modelo busque por sí mismo las partes de la frase de origen que importan

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«Secuencia a secuencia». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/secuencia-a-secuencia

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva