GPT-2
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje
- Linaje
- Neuronas y redes
- Tipo
- Implementación
Quién
OpenAI
Qué ocurrió
OpenAI presenta GPT-2 el 14 de febrero de 2019: un modelo de lenguaje Transformer de 1.500 millones de parámetros, entrenado para predecir la palabra siguiente en 40 GB de texto de internet. El modelo completo no se publica hasta el 5 de noviembre.
Qué aportó
Un modelo de lenguaje grande resuelve tareas para las que nadie lo ha entrenado: logra el estado del arte en 7 de 8 conjuntos de modelado de lenguaje sin ningún ajuste. OpenAI lo publica por etapas, por miedo a usos maliciosos.
Desarrollo
GPT-2 sigue de cerca el diseño de GPT-1, con unas pocas modificaciones, pero cambia la escala y el texto. Tiene 1.500 millones de parámetros y se entrena con WebText, unos 8 millones de páginas web reunidas por OpenAI, con una sola tarea: predecir la palabra siguiente.
Lo llamativo estaba en lo que el modelo hacía sin que se lo enseñaran. Sin ningún ajuste para cada caso, logró el estado del arte en 7 de los 8 conjuntos de modelado de lenguaje con los que se probó. El título del artículo lo resume: los modelos de lenguaje aprenden varias tareas sin supervisión.
La presentación fue también una decisión sobre qué publicar. OpenAI escribió que no publicaba el modelo entrenado por su preocupación ante usos maliciosos, y optó por una publicación escalonada: primero una versión pequeña, de 124 millones de parámetros; en mayo, otra de 355 millones, y el 20 de agosto, una de 774 millones, mientras la completa se compartía solo con socios de investigación. El modelo completo, de 1.500 millones, se publicó el 5 de noviembre de 2019.
Un año después, GPT-3 usó el mismo modelo y la misma arquitectura que GPT-2, con más de cien veces sus parámetros.
Malentendidos frecuentes
Se suele decir: OpenAI no llegó a publicar GPT-2 por considerarlo demasiado peligroso.
En realidad: Lo publicó por etapas, de menor a mayor, a lo largo de 2019. El modelo completo, de 1.500 millones de parámetros, salió el 5 de noviembre.
Viene de
ELMo, GPT-1 y BERT (15 de febrero de 2018)
Influencia directa documentada
El modelo de GPT-2 «sigue en gran parte los detalles del modelo GPT de OpenAI (Radford y otros, 2018), con unas pocas modificaciones» (apartado 2.3)
Lleva a
GPT-3 (28 de mayo de 2020)
Influencia directa documentada
«Usamos el mismo modelo y la misma arquitectura que GPT-2» (apartado 2.1)
Hilos que pasan por aquí
- La escala como método (paso 3 de 8)
Bibliografía
Fuente original
- Better language models and their implications (OpenAI, 14 de febrero de 2019) (se abre en una pestaña nueva). OpenAI, 2019
- Language Models are Unsupervised Multitask Learners (se abre en una pestaña nueva). Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei e Ilya Sutskever, 2019
- p. 3 (se abre en una pestaña nueva) Apartado 2.1: WebText, el conjunto de páginas web con el que se entrena.
- GPT-2: 1.5B release (OpenAI, 5 de noviembre de 2019) (se abre en una pestaña nueva). OpenAI, 2019
Estudios y contexto
Cómo citar
«GPT-2». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/gpt-2
Última revisión de esta ficha: 13 de noviembre de 2026.