La historia de la IA

Chinchilla

Etapa 5 · IA generativa, razonamiento y agentes (2022–2026) › Infraestructura y cómputo

Linaje
Máquinas y cómputo
Tipo
Publicación

Quién

DeepMind

Qué ocurrió

Jordan Hoffmann y sus colegas de DeepMind muestran que los grandes modelos de lenguaje estaban infraentrenados: con un presupuesto de cálculo fijo, el tamaño del modelo y la cantidad de datos deben crecer al mismo ritmo. Su modelo Chinchilla, de 70.000 millones de parámetros, supera a otros cuatro veces mayores.

Qué aportó

Corrige las leyes de escala de 2020: parámetros y datos deben crecer en proporción similar. Cambia la forma de repartir el cómputo en los modelos siguientes.

Desarrollo

Las leyes de escala de Kaplan, de 2020, habían llevado a los laboratorios a hacer modelos cada vez más grandes sin aumentar tanto los datos de entrenamiento. GPT-3 tenía 175.000 millones de parámetros, Gopher, de DeepMind, 280.000 millones, y Megatron-Turing NLG, 530.000 millones.

Hoffmann y sus colegas entrenaron más de 400 modelos de lenguaje, de 70 millones a más de 16.000 millones de parámetros, con entre 5.000 y 500.000 millones de tokens, para medir cómo repartir mejor un presupuesto de cálculo. Su conclusión fue que el tamaño del modelo y los datos deben crecer juntos: cada vez que se duplica el tamaño, hay que duplicar también los datos. Los grandes modelos de la época estaban, por tanto, infraentrenados.

Para comprobarlo entrenaron Chinchilla, con 70.000 millones de parámetros y 1,4 billones de tokens, cuatro veces más datos que Gopher con el mismo cálculo. Chinchilla superó a Gopher, GPT-3, Jurassic-1 y Megatron-Turing NLG en muchas tareas, y en MMLU, una prueba de conocimientos de muchas materias, alcanzó un 67,5 % de media, más de siete puntos por encima de Gopher.

Un modelo más pequeño con el mismo rendimiento es además más barato de usar, porque cada respuesta exige menos cálculo. La lección para los laboratorios fue que los datos importaban tanto como el tamaño.

Dos pares de barras. Gopher tiene una barra larga de parámetros, 280.000 millones, y una corta de tokens, 300.000 millones. Chinchilla tiene una barra corta de parámetros, 70.000 millones, y una larga de tokens, 1,4 billones.

Con el mismo cálculo, Chinchilla usa cuatro veces menos parámetros que Gopher y cuatro veces más datos.

Nivel técnico

El cálculo de entrenar un modelo crece con el producto de sus parámetros N y sus tokens de entrenamiento D: aproximadamente C ≈ 6·N·D operaciones. Para un C fijo, la pregunta es cómo repartirlo entre N y D.

Los autores lo midieron de tres formas distintas, y las tres dieron que N y D deben crecer en la misma proporción con el cálculo, alrededor de C^0,5 cada uno. Kaplan había estimado que el tamaño debía crecer mucho más deprisa que los datos.

En la práctica, la regla queda en unos 20 tokens por parámetro: Chinchilla, con 70.000 millones de parámetros, se entrenó con 1,4 billones de tokens. Gopher, con 280.000 millones, solo había visto 300.000 millones, alrededor de un token por parámetro.

En comparación

Gopher y Chinchilla, con el mismo cálculo
MedidaGopherChinchilla
Parámetros280.000 millones70.000 millones
Tokens de entrenamiento300.000 millones1,4 billones
MMLU (media)60,0 %67,5 %

Viene de

  • Leyes de escala (23 de enero de 2020)

    Influencia directa documentada

    Chinchilla contradice y corrige la proporción propuesta por Kaplan

Lleva a

  • LLaMA (24 de febrero de 2023)

    Influencia directa documentada

    LLaMA parte de las leyes de escala de Hoffmann y otros (2022) y decide entrenar modelos más pequeños con más tokens de los que esas leyes recomiendan, pensando en el coste de usarlos (apartado 1)

Hilos que pasan por aquí

Bibliografía

Cómo citar

«Chinchilla». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/chinchilla

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva