La historia de la IA

GPT-2

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje

Linaje
Neuronas y redes
Tipo
Implementación

Quién

OpenAI

Qué ocurrió

OpenAI presenta GPT-2 el 14 de febrero de 2019: un modelo de lenguaje Transformer de 1.500 millones de parámetros, entrenado para predecir la palabra siguiente en 40 GB de texto de internet. El modelo completo no se publica hasta el 5 de noviembre.

Qué aportó

Un modelo de lenguaje grande resuelve tareas para las que nadie lo ha entrenado: logra el estado del arte en 7 de 8 conjuntos de modelado de lenguaje sin ningún ajuste. OpenAI lo publica por etapas, por miedo a usos maliciosos.

Desarrollo

GPT-2 sigue de cerca el diseño de GPT-1, con unas pocas modificaciones, pero cambia la escala y el texto. Tiene 1.500 millones de parámetros y se entrena con WebText, unos 8 millones de páginas web reunidas por OpenAI, con una sola tarea: predecir la palabra siguiente.

Lo llamativo estaba en lo que el modelo hacía sin que se lo enseñaran. Sin ningún ajuste para cada caso, logró el estado del arte en 7 de los 8 conjuntos de modelado de lenguaje con los que se probó. El título del artículo lo resume: los modelos de lenguaje aprenden varias tareas sin supervisión.

La presentación fue también una decisión sobre qué publicar. OpenAI escribió que no publicaba el modelo entrenado por su preocupación ante usos maliciosos, y optó por una publicación escalonada: primero una versión pequeña, de 124 millones de parámetros; en mayo, otra de 355 millones, y el 20 de agosto, una de 774 millones, mientras la completa se compartía solo con socios de investigación. El modelo completo, de 1.500 millones, se publicó el 5 de noviembre de 2019.

Un año después, GPT-3 usó el mismo modelo y la misma arquitectura que GPT-2, con más de cien veces sus parámetros.

Malentendidos frecuentes

  • Se suele decir: OpenAI no llegó a publicar GPT-2 por considerarlo demasiado peligroso.

    En realidad: Lo publicó por etapas, de menor a mayor, a lo largo de 2019. El modelo completo, de 1.500 millones de parámetros, salió el 5 de noviembre.

Viene de

  • ELMo, GPT-1 y BERT (15 de febrero de 2018)

    Influencia directa documentada

    El modelo de GPT-2 «sigue en gran parte los detalles del modelo GPT de OpenAI (Radford y otros, 2018), con unas pocas modificaciones» (apartado 2.3)

Lleva a

  • GPT-3 (28 de mayo de 2020)

    Influencia directa documentada

    «Usamos el mismo modelo y la misma arquitectura que GPT-2» (apartado 2.1)

Hilos que pasan por aquí

Bibliografía

Cómo citar

«GPT-2». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/gpt-2

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva