De la atención al Transformer
La atención aparece sobre un modelo secuencia a secuencia. El Transformer conserva la atención y elimina la recurrencia.
Secuencia a secuencia (3 de junio de 2014)
En junio de 2014, Cho y sus colegas presentan un codificador-decodificador que resume la frase de origen en un vector de longitud fija. En septiembre, Sutskever, Vinyals y Le traducen solo con redes de este tipo.
Mecanismo de atención (1 de septiembre de 2014)
Bahdanau, Cho y Bengio ven en ese vector un cuello de botella. En septiembre de 2014, nueve días antes que el artículo de Sutskever, añaden un mecanismo de atención para que el traductor mire las partes de la frase que necesita en cada momento.
ResNet (10 de diciembre de 2015)
Las redes residuales suman a cada bloque su propia entrada por un atajo, y así se pueden entrenar redes de cientos de capas.
Transformer (12 de junio de 2017)
El Transformer elimina la recurrencia y conserva la atención, con una conexión residual alrededor de cada subcapa.