La historia de la IA

La escala como método

Del preentrenamiento con texto sin etiquetar a los modelos fundacionales, pasando por las leyes que predicen cuánto mejora un modelo al crecer.

  1. ULMFiT (18 de enero de 2018)

    ULMFiT muestra que un modelo de lenguaje preentrenado se puede ajustar para clasificar textos con pocos ejemplos.

  2. ELMo, GPT-1 y BERT (15 de febrero de 2018)

    ELMo, GPT-1 y BERT fijan la receta de preentrenar con mucho texto y ajustar para cada tarea.

  3. GPT-2 (14 de febrero de 2019)

    GPT-2 sigue el diseño de GPT-1 con más parámetros y más texto, y resuelve tareas sin ningún ajuste.

  4. Leyes de escala (23 de enero de 2020)

    Kaplan y sus colegas miden que el error baja de forma predecible con el tamaño, los datos y el cómputo.

  5. GPT-3 (28 de mayo de 2020)

    GPT-3 usa la arquitectura de GPT-2 a una escala cien veces mayor, justificada por las leyes de escala, y aprende tareas nuevas a partir de unos pocos ejemplos.

  6. La escala llega a China y Corea (26 de abril de 2021)

    Huawei, la Academia de IA de Pekín y Naver entrenan modelos del tamaño de GPT-3 en chino y en coreano.

  7. El término «modelo fundacional» (16 de agosto de 2021)

    Stanford llama «modelos fundacionales» a los modelos como BERT y GPT-3, que sirven de base para muchas tareas.

  8. Chinchilla (29 de marzo de 2022)

    En 2022 Chinchilla corrige la proporción entre parámetros y datos que proponía Kaplan.

Abrir en la cronología interactiva