DALL·E y CLIP
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Modelos generativos de imagen
- Linaje
- Neuronas y redes
- Tipo
- Implementación
Quién
OpenAI
Qué ocurrió
OpenAI presenta el 5 de enero de 2021 DALL·E, un Transformer de 12.000 millones de parámetros que genera imágenes a partir de una descripción escrita, y CLIP, un modelo que relaciona imágenes y textos y sirve para ordenar los resultados de DALL·E.
Qué aportó
Un modelo dibuja lo que se le pide en lenguaje natural, y otro entiende imágenes a partir de sus descripciones sin etiquetas hechas a mano. Unen la visión y el lenguaje.
Desarrollo
DALL·E, cuyo nombre junta al pintor Salvador Dalí y al robot de Pixar WALL·E, aplicó a las imágenes la receta de GPT-3. Un Transformer de 12.000 millones de parámetros trataba el texto y la imagen como una sola secuencia de piezas y aprendía a predecir la siguiente. Según su artículo, ese enfoque sencillo, con datos y tamaño suficientes, competía con sistemas diseñados para cada tarea sin entrenarse para ellas. La imagen de un sillón con forma de aguacate dio la vuelta a la prensa.
CLIP resolvía otro problema. Los sistemas de visión reconocían solo una lista fija de categorías, aprendidas con etiquetas hechas a mano. CLIP aprendió con 400 millones de pares de imagen y texto recogidos de internet, emparejando cada imagen con su pie de foto. Después podía reconocer conceptos descritos con palabras. Probado en más de 30 conjuntos de datos, igualó en ImageNet la precisión de la ResNet-50 original sin usar ninguna de sus 1,28 millones de imágenes de entrenamiento.
Las dos piezas se combinaron: CLIP ordenaba las imágenes que generaba DALL·E. Los artículos con los detalles salieron en arXiv en febrero.
En abril de 2022, DALL·E 2 cambió el Transformer por un modelo de difusión guiado por las representaciones de CLIP, y la generación de imágenes a partir de texto llegó al gran público.
Viene de
Autocodificador variacional (20 de diciembre de 2013)
Influencia directa documentada
DALL·E convierte cada imagen en piezas con un autocodificador variacional discreto (dVAE), su primera etapa de entrenamiento (apartado 2)
Lleva a
DALL·E 2 (6 de abril de 2022)
Influencia directa documentada
DALL·E 2 genera primero una representación de imagen en el espacio de CLIP y después la imagen a partir de ella (resumen)
Hilos que pasan por aquí
- De la difusión al modelo de mundo (paso 3 de 7)
- Del ruido a la imagen (paso 5 de 7)
Bibliografía
Fuente original
- Zero-Shot Text-to-Image Generation (arXiv:2102.12092) (se abre en una pestaña nueva). Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen e Ilya Sutskever, 2021. licencia libre: CC BY 4.0
- Learning Transferable Visual Models From Natural Language Supervision (arXiv:2103.00020) (se abre en una pestaña nueva). Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh y otros, 2021
Cómo citar
«DALL·E y CLIP». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/dalle-clip
Última revisión de esta ficha: 13 de noviembre de 2026.