Leyes de escala
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje
- Linaje
- Neuronas y redes
- Tipo
- Publicación
Quién
- Jared Kaplan
- Sam McCandlish
- Tom Henighan
- Tom B. Brown
- Benjamin Chess
- Rewon Child
- Scott Gray
- Alec Radford
- Jeffrey Wu
- Dario Amodei
OpenAI, Universidad Johns Hopkins
Qué ocurrió
Jared Kaplan, de la Universidad Johns Hopkins y OpenAI, y nueve investigadores de OpenAI publican en arXiv «Scaling Laws for Neural Language Models» el 23 de enero de 2020. Miden cómo cambia el error de un modelo de lenguaje al variar su tamaño, los datos y el cómputo.
Qué aportó
El error baja como una ley de potencia con cada uno de los tres factores, de forma predecible a lo largo de varios órdenes de magnitud. Eso permite calcular de antemano cuánto rendirá un modelo más grande.
Desarrollo
Elegir el tamaño de un modelo, la cantidad de datos y el tiempo de entrenamiento era en buena parte cuestión de prueba y error. El equipo de Kaplan entrenó muchos modelos de lenguaje Transformer de tamaños distintos y midió su pérdida, el error al predecir el texto.
La conclusión es una regla sencilla: la pérdida baja como una ley de potencia con el tamaño del modelo, con el volumen de datos y con el cómputo de entrenamiento, y algunas tendencias se mantienen a lo largo de más de siete órdenes de magnitud. Otros detalles, como la anchura o la profundidad de la red, apenas cuentan dentro de un margen amplio. Unas ecuaciones simples describen también cuándo aparece el sobreajuste y a qué velocidad se entrena el modelo.
De ahí sale un consejo práctico. Los modelos grandes aprovechan mucho mejor cada dato, así que, con un presupuesto de cómputo fijo, conviene entrenar modelos muy grandes con una cantidad de datos relativamente modesta y detenerse bastante antes de la convergencia.
Cuatro meses después, el artículo de GPT-3 se apoyó en estas leyes para justificar su tamaño: la pérdida debía mejorar de forma suave al crecer el modelo. En 2022, Chinchilla, de DeepMind, corrigió la proporción entre parámetros y datos que proponía Kaplan.
Nivel técnico
Las leyes tienen la forma L(N) ≈ (N_c / N)^α_N, donde L es la pérdida y N el número de parámetros, sin contar los de los vectores de palabras. Con el volumen de datos D y el cómputo C pasa lo mismo, cada uno con su exponente: alrededor de 0,076 para los parámetros, 0,095 para los datos y 0,050 para el cómputo.
Un exponente tan pequeño significa rendimientos decrecientes: con α_N = 0,076, reducir la pérdida a la mitad exigiría multiplicar los parámetros por unas 9.000. La regla vale mientras ninguno de los tres factores limite a los otros.
Malentendidos frecuentes
Se suele decir: Las leyes de escala dicen que basta con hacer los modelos más grandes.
En realidad: Describen el error al predecir texto, no capacidades concretas, y solo mientras parámetros, datos y cómputo crezcan juntos. Chinchilla, en 2022, mostró que convenía usar más datos de los que proponía Kaplan.
Lleva a
Chinchilla (29 de marzo de 2022)
Influencia directa documentada
Chinchilla contradice y corrige la proporción propuesta por Kaplan
GPT-3 (28 de mayo de 2020)
Influencia directa documentada
El artículo de GPT-3 justifica su tamaño con las leyes de escala, que predicen que la pérdida de validación mejora como una ley de potencia suave con el tamaño del modelo (apartados 1 y 2.1)
Se funda Anthropic (enero de 2021)
Influencia directa documentada
El anuncio de la primera ronda de Anthropic presenta a su equipo como autor de investigación previa en GPT-3, las leyes de escala y el aprendizaje a partir de preferencias humanas
Hilos que pasan por aquí
- La escala como método (paso 4 de 8)
- Quién paga el cómputo (paso 4 de 6)
Bibliografía
Fuente original
- Scaling Laws for Neural Language Models (arXiv:2001.08361) (se abre en una pestaña nueva). Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu y Dario Amodei, 2020
- p. 3 (se abre en una pestaña nueva) Figura 1: la pérdida baja como una ley de potencia con el cómputo, los datos y el tamaño del modelo.
Cómo citar
«Leyes de escala». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/leyes-de-escala-kaplan
Última revisión de esta ficha: 13 de noviembre de 2026.