La historia de la IA

ELMo, GPT-1 y BERT

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje

Linaje
Neuronas y redes
Tipo
Publicación

Quién

Allen Institute for AI, Universidad de Washington, OpenAI, Google

Qué ocurrió

Tres trabajos de 2018 enseñan a preentrenar un modelo con texto sin etiquetar y aprovecharlo después en tareas concretas: ELMo, de Matthew E. Peters y otros (en arXiv el 15 de febrero), GPT-1, de OpenAI (11 de junio), y BERT, de Google (en arXiv el 11 de octubre).

Qué aportó

Fijan la receta que siguen los modelos de lenguaje posteriores: un preentrenamiento largo y general, y un ajuste corto para cada tarea. BERT, el más completo de los tres, mejora el estado del arte en once tareas.

Desarrollo

Hasta 2018, cada tarea de lenguaje (responder preguntas, clasificar opiniones, reconocer nombres propios) solía entrenar su propio modelo con datos etiquetados para ella, que son caros y escasos. En enero, ULMFiT había mostrado que un modelo de lenguaje preentrenado se podía ajustar para clasificar textos. Los tres trabajos siguientes aprovechan lo mismo: texto corriente, sin etiquetar, del que hay cantidades enormes.

ELMo, del Allen Institute for AI y la Universidad de Washington, da a cada palabra una representación que depende de la frase en la que aparece, sacada de un modelo de lenguaje bidireccional entrenado con un gran corpus. Añadida a modelos que ya existían, mejoró el estado del arte en seis tareas, con reducciones relativas del error de hasta el 20 %.

GPT-1, de OpenAI, junta dos ideas, el Transformer y el preentrenamiento sin supervisión. Primero un Transformer aprende a predecir texto en más de 7.000 libros inéditos; después se ajusta con conjuntos pequeños y etiquetados. Mejoró el estado del arte en 9 de las 12 tareas estudiadas.

BERT, de Google, cambia la forma de preentrenar. GPT-1 solo mira las palabras anteriores; BERT mira a los dos lados a la vez, porque aprende a adivinar palabras tapadas en medio de la frase y a decidir si una frase sigue a otra. Con una sola capa añadida para cada tarea, mejoró el estado del arte en once y subió la puntuación GLUE al 80,5 %, 7,7 puntos más. Ganó el premio al mejor artículo largo de NAACL 2019.

Ese patrón, preentrenar y después ajustar, es el que GPT-2 y GPT-3 llevan a una escala mucho mayor.

Viene de

  • Transformer (12 de junio de 2017)

    Influencia directa documentada

    GPT-1 combina «los Transformers y el preentrenamiento sin supervisión», y la arquitectura de BERT es «un codificador Transformer bidireccional de varias capas» basado en la implementación original de Vaswani y otros

  • word2vec (16 de enero de 2013)

    Influencia directa documentada

    ELMo parte de los vectores de palabras preentrenados (cita a Mikolov y otros, 2013) y propone sustituirlos por representaciones que dependen del contexto (introducción)

  • ULMFiT (18 de enero de 2018)

    Influencia directa documentada

    El artículo de GPT-1 cita a Howard y Ruder entre los trabajos más cercanos al suyo: preentrenar con un objetivo de modelo de lenguaje y ajustar después con supervisión (apartado 2)

Lleva a

  • GPT-2 (14 de febrero de 2019)

    Influencia directa documentada

    El modelo de GPT-2 «sigue en gran parte los detalles del modelo GPT de OpenAI (Radford y otros, 2018), con unas pocas modificaciones» (apartado 2.3)

  • El término «modelo fundacional» (16 de agosto de 2021)

    Influencia directa documentada

    El informe acuña el término para los modelos como BERT y GPT-3, que se entrenan con datos amplios y se adaptan a muchas tareas, y los cita como ejemplos desde la primera frase

  • La escala llega a China y Corea (26 de abril de 2021)

    Influencia directa documentada

    ERNIE se inspira en la estrategia de enmascarado de BERT, y PanGu-α y HyperCLOVA se presentan a partir de GPT-3 (resúmenes de los tres artículos)

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«ELMo, GPT-1 y BERT». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/elmo-gpt1-bert

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva