La historia de la IA

GPT-3

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje

Linaje
Neuronas y redes
Tipo
Implementación

Quién

OpenAI

Qué ocurrió

OpenAI publica en arXiv el 28 de mayo de 2020 «Language Models are Few-Shot Learners», firmado por 31 autores con Tom B. Brown a la cabeza. Presenta GPT-3, un modelo de lenguaje de 175.000 millones de parámetros, diez veces más que cualquier modelo de lenguaje anterior no disperso.

Qué aportó

Aprendizaje en contexto: GPT-3 resuelve tareas nuevas a partir de una instrucción y unos pocos ejemplos escritos en ella, sin ajustar sus pesos.

Desarrollo

GPT-3 usa el mismo modelo y la misma arquitectura que GPT-2, con una sola excepción en la forma de la atención. Lo que cambia es la escala: 175.000 millones de parámetros, más de cien veces los de GPT-2, entrenados con 300.000 millones de fragmentos de texto (tokens). El 60 % de los datos sale de una versión filtrada de Common Crawl, un archivo de la web; el resto, de libros, de la Wikipedia en inglés y de una ampliación de WebText. Los autores se apoyan en las leyes de escala publicadas meses antes, que predecían que la pérdida seguiría mejorando de forma suave al crecer el modelo.

La pregunta del artículo es otra. GPT-1 y BERT necesitaban ajustarse con ejemplos etiquetados para cada tarea. GPT-3 se prueba sin tocar sus pesos: la tarea se le describe en el propio texto, sin ejemplos, con uno o con unos pocos, y el modelo continúa. Es lo que el artículo llama aprendizaje con pocos ejemplos, y su figura 2.1 lo compara con el ajuste tradicional.

El artículo señala también un riesgo: GPT-3 escribía noticias que a los evaluadores humanos les costaba distinguir de las escritas por personas.

En 2021, Codex, un modelo de la familia GPT ajustado con código, dio lugar a GitHub Copilot, y en 2022 InstructGPT partió de GPT-3 para entrenarlo con preferencias humanas.

En comparación

De GPT-1 a GPT-3
RasgoGPT-1 (2018)GPT-2 (2019)GPT-3 (2020)
ParámetrosUnos 120 millones1.500 millones175.000 millones
Capas124896
Datos de entrenamientoBooksCorpus: más de 7.000 libros sin publicarWebText: unos 8 millones de páginas web300.000 millones de tokens de Common Crawl filtrado, WebText2, libros y Wikipedia
Cómo se usa en una tareaSe ajusta con ejemplos etiquetadosSe prueba sin ningún ajusteRecibe la tarea y unos pocos ejemplos en el propio texto

Viene de

  • GPT-2 (14 de febrero de 2019)

    Influencia directa documentada

    «Usamos el mismo modelo y la misma arquitectura que GPT-2» (apartado 2.1)

  • Leyes de escala (23 de enero de 2020)

    Influencia directa documentada

    El artículo de GPT-3 justifica su tamaño con las leyes de escala, que predicen que la pérdida de validación mejora como una ley de potencia suave con el tamaño del modelo (apartados 1 y 2.1)

  • OpenAI adopta el beneficio limitado (11 de marzo de 2019)

    Influencia directa documentada

    GPT-3 se entrenó en GPU V100 de «un clúster de gran ancho de banda proporcionado por Microsoft» (apartado 2.3), el socio que entró con la inversión de 2019

Lleva a

  • GitHub Copilot (29 de junio de 2021)

    Influencia directa documentada

    Copilot funciona con Codex, un modelo de lenguaje GPT ajustado con código de GitHub. Sus autores parten de la familia GPT-3 porque el ajuste converge más deprisa, y una versión de producción de Codex es la que hace funcionar Copilot

  • El término «modelo fundacional» (16 de agosto de 2021)

    Influencia directa documentada

    El informe acuña el término para los modelos como BERT y GPT-3, que se entrenan con datos amplios y se adaptan a muchas tareas, y los cita como ejemplos desde la primera frase

  • InstructGPT (4 de marzo de 2022)

    Influencia directa documentada

    InstructGPT es GPT-3 ajustado primero con demostraciones escritas por personas y después con aprendizaje por refuerzo a partir de sus preferencias (resumen)

  • Cadena de pensamiento (28 de enero de 2022)

    Influencia directa documentada

    GPT-3 es una de las tres familias de modelos con las que el artículo prueba la cadena de pensamiento, y la referencia que supera en GSM8K es GPT-3 ajustado y con verificador (resumen y apartado 3)

  • Se funda Anthropic (enero de 2021)

    Influencia directa documentada

    El anuncio de la primera ronda de Anthropic presenta a su equipo como autor de investigación previa en GPT-3, las leyes de escala y el aprendizaje a partir de preferencias humanas

  • La escala llega a China y Corea (26 de abril de 2021)

    Influencia directa documentada

    ERNIE se inspira en la estrategia de enmascarado de BERT, y PanGu-α y HyperCLOVA se presentan a partir de GPT-3 (resúmenes de los tres artículos)

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«GPT-3». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/gpt-3

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva