GPT-3
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje
- Linaje
- Neuronas y redes
- Tipo
- Implementación
Quién
OpenAI
Qué ocurrió
OpenAI publica en arXiv el 28 de mayo de 2020 «Language Models are Few-Shot Learners», firmado por 31 autores con Tom B. Brown a la cabeza. Presenta GPT-3, un modelo de lenguaje de 175.000 millones de parámetros, diez veces más que cualquier modelo de lenguaje anterior no disperso.
Qué aportó
Aprendizaje en contexto: GPT-3 resuelve tareas nuevas a partir de una instrucción y unos pocos ejemplos escritos en ella, sin ajustar sus pesos.
Desarrollo
GPT-3 usa el mismo modelo y la misma arquitectura que GPT-2, con una sola excepción en la forma de la atención. Lo que cambia es la escala: 175.000 millones de parámetros, más de cien veces los de GPT-2, entrenados con 300.000 millones de fragmentos de texto (tokens). El 60 % de los datos sale de una versión filtrada de Common Crawl, un archivo de la web; el resto, de libros, de la Wikipedia en inglés y de una ampliación de WebText. Los autores se apoyan en las leyes de escala publicadas meses antes, que predecían que la pérdida seguiría mejorando de forma suave al crecer el modelo.
La pregunta del artículo es otra. GPT-1 y BERT necesitaban ajustarse con ejemplos etiquetados para cada tarea. GPT-3 se prueba sin tocar sus pesos: la tarea se le describe en el propio texto, sin ejemplos, con uno o con unos pocos, y el modelo continúa. Es lo que el artículo llama aprendizaje con pocos ejemplos, y su figura 2.1 lo compara con el ajuste tradicional.
El artículo señala también un riesgo: GPT-3 escribía noticias que a los evaluadores humanos les costaba distinguir de las escritas por personas.
En 2021, Codex, un modelo de la familia GPT ajustado con código, dio lugar a GitHub Copilot, y en 2022 InstructGPT partió de GPT-3 para entrenarlo con preferencias humanas.
En comparación
| Rasgo | GPT-1 (2018) | GPT-2 (2019) | GPT-3 (2020) |
|---|---|---|---|
| Parámetros | Unos 120 millones | 1.500 millones | 175.000 millones |
| Capas | 12 | 48 | 96 |
| Datos de entrenamiento | BooksCorpus: más de 7.000 libros sin publicar | WebText: unos 8 millones de páginas web | 300.000 millones de tokens de Common Crawl filtrado, WebText2, libros y Wikipedia |
| Cómo se usa en una tarea | Se ajusta con ejemplos etiquetados | Se prueba sin ningún ajuste | Recibe la tarea y unos pocos ejemplos en el propio texto |
Viene de
GPT-2 (14 de febrero de 2019)
Influencia directa documentada
«Usamos el mismo modelo y la misma arquitectura que GPT-2» (apartado 2.1)
Leyes de escala (23 de enero de 2020)
Influencia directa documentada
El artículo de GPT-3 justifica su tamaño con las leyes de escala, que predicen que la pérdida de validación mejora como una ley de potencia suave con el tamaño del modelo (apartados 1 y 2.1)
OpenAI adopta el beneficio limitado (11 de marzo de 2019)
Influencia directa documentada
GPT-3 se entrenó en GPU V100 de «un clúster de gran ancho de banda proporcionado por Microsoft» (apartado 2.3), el socio que entró con la inversión de 2019
Lleva a
GitHub Copilot (29 de junio de 2021)
Influencia directa documentada
Copilot funciona con Codex, un modelo de lenguaje GPT ajustado con código de GitHub. Sus autores parten de la familia GPT-3 porque el ajuste converge más deprisa, y una versión de producción de Codex es la que hace funcionar Copilot
El término «modelo fundacional» (16 de agosto de 2021)
Influencia directa documentada
El informe acuña el término para los modelos como BERT y GPT-3, que se entrenan con datos amplios y se adaptan a muchas tareas, y los cita como ejemplos desde la primera frase
InstructGPT (4 de marzo de 2022)
Influencia directa documentada
InstructGPT es GPT-3 ajustado primero con demostraciones escritas por personas y después con aprendizaje por refuerzo a partir de sus preferencias (resumen)
Cadena de pensamiento (28 de enero de 2022)
Influencia directa documentada
GPT-3 es una de las tres familias de modelos con las que el artículo prueba la cadena de pensamiento, y la referencia que supera en GSM8K es GPT-3 ajustado y con verificador (resumen y apartado 3)
Se funda Anthropic (enero de 2021)
Influencia directa documentada
El anuncio de la primera ronda de Anthropic presenta a su equipo como autor de investigación previa en GPT-3, las leyes de escala y el aprendizaje a partir de preferencias humanas
La escala llega a China y Corea (26 de abril de 2021)
Influencia directa documentada
ERNIE se inspira en la estrategia de enmascarado de BERT, y PanGu-α y HyperCLOVA se presentan a partir de GPT-3 (resúmenes de los tres artículos)
Hilos que pasan por aquí
- Del razonamiento pedido al razonamiento entrenado (paso 1 de 9)
- La escala como método (paso 5 de 8)
- Quién paga el cómputo (paso 5 de 6)
Bibliografía
Fuente original
- Language Models are Few-Shot Learners (arXiv:2005.14165) (se abre en una pestaña nueva). Tom B. Brown y otros 30 autores, 2020
- p. 7 (se abre en una pestaña nueva) Figura 2.1: aprender sin ejemplos, con uno o con unos pocos dentro de la instrucción, frente al ajuste tradicional.
Estudios y contexto
Cómo citar
«GPT-3». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/gpt-3
Última revisión de esta ficha: 13 de noviembre de 2026.