La historia de la IA

DALL·E y CLIP

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Modelos generativos de imagen

Linaje
Neuronas y redes
Tipo
Implementación

Quién

OpenAI

Qué ocurrió

OpenAI presenta el 5 de enero de 2021 DALL·E, un Transformer de 12.000 millones de parámetros que genera imágenes a partir de una descripción escrita, y CLIP, un modelo que relaciona imágenes y textos y sirve para ordenar los resultados de DALL·E.

Qué aportó

Un modelo dibuja lo que se le pide en lenguaje natural, y otro entiende imágenes a partir de sus descripciones sin etiquetas hechas a mano. Unen la visión y el lenguaje.

Desarrollo

DALL·E, cuyo nombre junta al pintor Salvador Dalí y al robot de Pixar WALL·E, aplicó a las imágenes la receta de GPT-3. Un Transformer de 12.000 millones de parámetros trataba el texto y la imagen como una sola secuencia de piezas y aprendía a predecir la siguiente. Según su artículo, ese enfoque sencillo, con datos y tamaño suficientes, competía con sistemas diseñados para cada tarea sin entrenarse para ellas. La imagen de un sillón con forma de aguacate dio la vuelta a la prensa.

CLIP resolvía otro problema. Los sistemas de visión reconocían solo una lista fija de categorías, aprendidas con etiquetas hechas a mano. CLIP aprendió con 400 millones de pares de imagen y texto recogidos de internet, emparejando cada imagen con su pie de foto. Después podía reconocer conceptos descritos con palabras. Probado en más de 30 conjuntos de datos, igualó en ImageNet la precisión de la ResNet-50 original sin usar ninguna de sus 1,28 millones de imágenes de entrenamiento.

Las dos piezas se combinaron: CLIP ordenaba las imágenes que generaba DALL·E. Los artículos con los detalles salieron en arXiv en febrero.

En abril de 2022, DALL·E 2 cambió el Transformer por un modelo de difusión guiado por las representaciones de CLIP, y la generación de imágenes a partir de texto llegó al gran público.

Viene de

  • Autocodificador variacional (20 de diciembre de 2013)

    Influencia directa documentada

    DALL·E convierte cada imagen en piezas con un autocodificador variacional discreto (dVAE), su primera etapa de entrenamiento (apartado 2)

Lleva a

  • DALL·E 2 (6 de abril de 2022)

    Influencia directa documentada

    DALL·E 2 genera primero una representación de imagen en el espacio de CLIP y después la imagen a partir de ella (resumen)

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«DALL·E y CLIP». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/dalle-clip

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva