Vision Transformer
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje
- Linaje
- Neuronas y redes
- Tipo
- Publicación
Quién
- Alexey Dosovitskiy
- Lucas Beyer
- Alexander Kolesnikov
- Dirk Weissenborn
- Xiaohua Zhai
- Thomas Unterthiner
- Mostafa Dehghani
- Matthias Minderer
- Georg Heigold
- Sylvain Gelly
- Jakob Uszkoreit
- Neil Houlsby
Qué ocurrió
Alexey Dosovitskiy y otros once autores publican en arXiv «An Image is Worth 16x16 Words» el 22 de octubre de 2020. Aplican a la clasificación de imágenes un Transformer estándar, sin convoluciones. La versión definitiva se presenta en ICLR 2021.
Qué aportó
La arquitectura del lenguaje sirve también para la visión: preentrenado con suficientes datos, el Vision Transformer iguala o supera a las mejores redes convolucionales con bastante menos cómputo de entrenamiento.
Desarrollo
Desde AlexNet, en 2012, la visión por ordenador se apoyaba en las redes convolucionales, diseñadas a propósito para imágenes. El Transformer había desplazado a las redes recurrentes en el lenguaje, pero en visión la atención se usaba junto a las convoluciones o en lugar de alguna de sus piezas, sin prescindir de ellas.
El Vision Transformer prueba lo más sencillo posible. Corta la imagen en parches de tamaño fijo (de 16 por 16 píxeles, de ahí el título), convierte cada parche en un vector y entrega la secuencia a un Transformer estándar, como si cada parche fuera una palabra. No hay ninguna convolución.
Entrenado solo con conjuntos medianos como ImageNet, el modelo quedaba unos puntos por debajo de una red convolucional ResNet de tamaño parecido. Los autores lo atribuyen a que el Transformer no trae de serie las suposiciones sobre imágenes que sí llevan las convoluciones. El panorama cambia con más datos. Preentrenado con conjuntos de 14 a 300 millones de imágenes (ImageNet-21k y JFT-300M, un conjunto interno de Google) y ajustado después a pruebas medianas y pequeñas, el Vision Transformer igualó o superó a las mejores redes convolucionales y necesitó bastante menos cómputo para entrenarse.
La versión definitiva del artículo es la de ICLR 2021, y el código y los modelos preentrenados se publicaron en GitHub. Con este trabajo, el Transformer pasó a ser una arquitectura general, no solo de texto.
Viene de
Transformer (12 de junio de 2017)
Influencia directa documentada
El artículo aplica «un Transformer puro directamente a secuencias de parches de imagen»
Lleva a
Sora (15 de febrero de 2024)
Herencia sin relación directa demostrada
Sora es un modelo de difusión que trabaja sobre una representación comprimida del vídeo, partida en parches como las imágenes del Vision Transformer
Hilos que pasan por aquí
- De la difusión al modelo de mundo (paso 2 de 7)
Bibliografía
Fuente original
- An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (arXiv:2010.11929) (se abre en una pestaña nueva). Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit y Neil Houlsby, 2020
- p. 3 (se abre en una pestaña nueva) Figura 1: la imagen se corta en parches de tamaño fijo que el Transformer lee como si fueran palabras.
Cómo citar
«Vision Transformer». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/vision-transformer
Última revisión de esta ficha: 13 de noviembre de 2026.