ELMo, GPT-1 y BERT
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje
- Linaje
- Neuronas y redes
- Tipo
- Publicación
Quién
Allen Institute for AI, Universidad de Washington, OpenAI, Google
Qué ocurrió
Tres trabajos de 2018 enseñan a preentrenar un modelo con texto sin etiquetar y aprovecharlo después en tareas concretas: ELMo, de Matthew E. Peters y otros (en arXiv el 15 de febrero), GPT-1, de OpenAI (11 de junio), y BERT, de Google (en arXiv el 11 de octubre).
Qué aportó
Fijan la receta que siguen los modelos de lenguaje posteriores: un preentrenamiento largo y general, y un ajuste corto para cada tarea. BERT, el más completo de los tres, mejora el estado del arte en once tareas.
Desarrollo
Hasta 2018, cada tarea de lenguaje (responder preguntas, clasificar opiniones, reconocer nombres propios) solía entrenar su propio modelo con datos etiquetados para ella, que son caros y escasos. En enero, ULMFiT había mostrado que un modelo de lenguaje preentrenado se podía ajustar para clasificar textos. Los tres trabajos siguientes aprovechan lo mismo: texto corriente, sin etiquetar, del que hay cantidades enormes.
ELMo, del Allen Institute for AI y la Universidad de Washington, da a cada palabra una representación que depende de la frase en la que aparece, sacada de un modelo de lenguaje bidireccional entrenado con un gran corpus. Añadida a modelos que ya existían, mejoró el estado del arte en seis tareas, con reducciones relativas del error de hasta el 20 %.
GPT-1, de OpenAI, junta dos ideas, el Transformer y el preentrenamiento sin supervisión. Primero un Transformer aprende a predecir texto en más de 7.000 libros inéditos; después se ajusta con conjuntos pequeños y etiquetados. Mejoró el estado del arte en 9 de las 12 tareas estudiadas.
BERT, de Google, cambia la forma de preentrenar. GPT-1 solo mira las palabras anteriores; BERT mira a los dos lados a la vez, porque aprende a adivinar palabras tapadas en medio de la frase y a decidir si una frase sigue a otra. Con una sola capa añadida para cada tarea, mejoró el estado del arte en once y subió la puntuación GLUE al 80,5 %, 7,7 puntos más. Ganó el premio al mejor artículo largo de NAACL 2019.
Ese patrón, preentrenar y después ajustar, es el que GPT-2 y GPT-3 llevan a una escala mucho mayor.
Viene de
Transformer (12 de junio de 2017)
Influencia directa documentada
GPT-1 combina «los Transformers y el preentrenamiento sin supervisión», y la arquitectura de BERT es «un codificador Transformer bidireccional de varias capas» basado en la implementación original de Vaswani y otros
word2vec (16 de enero de 2013)
Influencia directa documentada
ELMo parte de los vectores de palabras preentrenados (cita a Mikolov y otros, 2013) y propone sustituirlos por representaciones que dependen del contexto (introducción)
ULMFiT (18 de enero de 2018)
Influencia directa documentada
El artículo de GPT-1 cita a Howard y Ruder entre los trabajos más cercanos al suyo: preentrenar con un objetivo de modelo de lenguaje y ajustar después con supervisión (apartado 2)
Lleva a
GPT-2 (14 de febrero de 2019)
Influencia directa documentada
El modelo de GPT-2 «sigue en gran parte los detalles del modelo GPT de OpenAI (Radford y otros, 2018), con unas pocas modificaciones» (apartado 2.3)
El término «modelo fundacional» (16 de agosto de 2021)
Influencia directa documentada
El informe acuña el término para los modelos como BERT y GPT-3, que se entrenan con datos amplios y se adaptan a muchas tareas, y los cita como ejemplos desde la primera frase
La escala llega a China y Corea (26 de abril de 2021)
Influencia directa documentada
ERNIE se inspira en la estrategia de enmascarado de BERT, y PanGu-α y HyperCLOVA se presentan a partir de GPT-3 (resúmenes de los tres artículos)
Hilos que pasan por aquí
- La escala como método (paso 2 de 8)
Bibliografía
Fuente original
- Deep Contextualized Word Representations. NAACL-HLT 2018, pp. 2227-2237 (se abre en una pestaña nueva). Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee y Luke Zettlemoyer, 2018. licencia libre: CC BY 4.0
- Improving language understanding with unsupervised learning (OpenAI, 11 de junio de 2018) (se abre en una pestaña nueva). OpenAI, 2018
- Improving Language Understanding by Generative Pre-Training (se abre en una pestaña nueva). Alec Radford, Karthik Narasimhan, Tim Salimans e Ilya Sutskever, 2018
- p. 4 (se abre en una pestaña nueva) Figura 1: el Transformer que se preentrena y cómo se adapta la entrada de cada tarea para el ajuste.
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (arXiv:1810.04805) (se abre en una pestaña nueva). Jacob Devlin, Ming-Wei Chang, Kenton Lee y Kristina Toutanova, 2018
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT 2019, pp. 4171-4186 (se abre en una pestaña nueva). Jacob Devlin, Ming-Wei Chang, Kenton Lee y Kristina Toutanova, 2019. licencia libre: CC BY 4.0
Cómo citar
«ELMo, GPT-1 y BERT». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/elmo-gpt1-bert
Última revisión de esta ficha: 13 de noviembre de 2026.