Chinchilla
Etapa 5 · IA generativa, razonamiento y agentes (2022–2026) › Infraestructura y cómputo
- Linaje
- Máquinas y cómputo
- Tipo
- Publicación
Quién
DeepMind
Qué ocurrió
Jordan Hoffmann y sus colegas de DeepMind muestran que los grandes modelos de lenguaje estaban infraentrenados: con un presupuesto de cálculo fijo, el tamaño del modelo y la cantidad de datos deben crecer al mismo ritmo. Su modelo Chinchilla, de 70.000 millones de parámetros, supera a otros cuatro veces mayores.
Qué aportó
Corrige las leyes de escala de 2020: parámetros y datos deben crecer en proporción similar. Cambia la forma de repartir el cómputo en los modelos siguientes.
Desarrollo
Las leyes de escala de Kaplan, de 2020, habían llevado a los laboratorios a hacer modelos cada vez más grandes sin aumentar tanto los datos de entrenamiento. GPT-3 tenía 175.000 millones de parámetros, Gopher, de DeepMind, 280.000 millones, y Megatron-Turing NLG, 530.000 millones.
Hoffmann y sus colegas entrenaron más de 400 modelos de lenguaje, de 70 millones a más de 16.000 millones de parámetros, con entre 5.000 y 500.000 millones de tokens, para medir cómo repartir mejor un presupuesto de cálculo. Su conclusión fue que el tamaño del modelo y los datos deben crecer juntos: cada vez que se duplica el tamaño, hay que duplicar también los datos. Los grandes modelos de la época estaban, por tanto, infraentrenados.
Para comprobarlo entrenaron Chinchilla, con 70.000 millones de parámetros y 1,4 billones de tokens, cuatro veces más datos que Gopher con el mismo cálculo. Chinchilla superó a Gopher, GPT-3, Jurassic-1 y Megatron-Turing NLG en muchas tareas, y en MMLU, una prueba de conocimientos de muchas materias, alcanzó un 67,5 % de media, más de siete puntos por encima de Gopher.
Un modelo más pequeño con el mismo rendimiento es además más barato de usar, porque cada respuesta exige menos cálculo. La lección para los laboratorios fue que los datos importaban tanto como el tamaño.
Dos pares de barras. Gopher tiene una barra larga de parámetros, 280.000 millones, y una corta de tokens, 300.000 millones. Chinchilla tiene una barra corta de parámetros, 70.000 millones, y una larga de tokens, 1,4 billones.
Nivel técnico
El cálculo de entrenar un modelo crece con el producto de sus parámetros N y sus tokens de entrenamiento D: aproximadamente C ≈ 6·N·D operaciones. Para un C fijo, la pregunta es cómo repartirlo entre N y D.
Los autores lo midieron de tres formas distintas, y las tres dieron que N y D deben crecer en la misma proporción con el cálculo, alrededor de C^0,5 cada uno. Kaplan había estimado que el tamaño debía crecer mucho más deprisa que los datos.
En la práctica, la regla queda en unos 20 tokens por parámetro: Chinchilla, con 70.000 millones de parámetros, se entrenó con 1,4 billones de tokens. Gopher, con 280.000 millones, solo había visto 300.000 millones, alrededor de un token por parámetro.
En comparación
| Medida | Gopher | Chinchilla |
|---|---|---|
| Parámetros | 280.000 millones | 70.000 millones |
| Tokens de entrenamiento | 300.000 millones | 1,4 billones |
| MMLU (media) | 60,0 % | 67,5 % |
Viene de
Leyes de escala (23 de enero de 2020)
Influencia directa documentada
Chinchilla contradice y corrige la proporción propuesta por Kaplan
Lleva a
LLaMA (24 de febrero de 2023)
Influencia directa documentada
LLaMA parte de las leyes de escala de Hoffmann y otros (2022) y decide entrenar modelos más pequeños con más tokens de los que esas leyes recomiendan, pensando en el coste de usarlos (apartado 1)
Hilos que pasan por aquí
- La escala como método (paso 8 de 8)
Bibliografía
Fuente original
- Training Compute-Optimal Large Language Models (arXiv:2203.15556) (se abre en una pestaña nueva). Jordan Hoffmann y otros, 2022
Cómo citar
«Chinchilla». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/chinchilla
Última revisión de esta ficha: 13 de noviembre de 2026.