La historia de la IA

Vision Transformer

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje

Linaje
Neuronas y redes
Tipo
Publicación

Quién

Google

Qué ocurrió

Alexey Dosovitskiy y otros once autores publican en arXiv «An Image is Worth 16x16 Words» el 22 de octubre de 2020. Aplican a la clasificación de imágenes un Transformer estándar, sin convoluciones. La versión definitiva se presenta en ICLR 2021.

Qué aportó

La arquitectura del lenguaje sirve también para la visión: preentrenado con suficientes datos, el Vision Transformer iguala o supera a las mejores redes convolucionales con bastante menos cómputo de entrenamiento.

Desarrollo

Desde AlexNet, en 2012, la visión por ordenador se apoyaba en las redes convolucionales, diseñadas a propósito para imágenes. El Transformer había desplazado a las redes recurrentes en el lenguaje, pero en visión la atención se usaba junto a las convoluciones o en lugar de alguna de sus piezas, sin prescindir de ellas.

El Vision Transformer prueba lo más sencillo posible. Corta la imagen en parches de tamaño fijo (de 16 por 16 píxeles, de ahí el título), convierte cada parche en un vector y entrega la secuencia a un Transformer estándar, como si cada parche fuera una palabra. No hay ninguna convolución.

Entrenado solo con conjuntos medianos como ImageNet, el modelo quedaba unos puntos por debajo de una red convolucional ResNet de tamaño parecido. Los autores lo atribuyen a que el Transformer no trae de serie las suposiciones sobre imágenes que sí llevan las convoluciones. El panorama cambia con más datos. Preentrenado con conjuntos de 14 a 300 millones de imágenes (ImageNet-21k y JFT-300M, un conjunto interno de Google) y ajustado después a pruebas medianas y pequeñas, el Vision Transformer igualó o superó a las mejores redes convolucionales y necesitó bastante menos cómputo para entrenarse.

La versión definitiva del artículo es la de ICLR 2021, y el código y los modelos preentrenados se publicaron en GitHub. Con este trabajo, el Transformer pasó a ser una arquitectura general, no solo de texto.

Viene de

  • Transformer (12 de junio de 2017)

    Influencia directa documentada

    El artículo aplica «un Transformer puro directamente a secuencias de parches de imagen»

Lleva a

  • Sora (15 de febrero de 2024)

    Herencia sin relación directa demostrada

    Sora es un modelo de difusión que trabaja sobre una representación comprimida del vídeo, partida en parches como las imágenes del Vision Transformer

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«Vision Transformer». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/vision-transformer

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva