El término «modelo fundacional»
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje
- Linaje
- Neuronas y redes
- Tipo
- Formulación
Quién
Stanford CRFM
Qué ocurrió
El 16 de agosto de 2021 aparece en arXiv «On the Opportunities and Risks of Foundation Models», un informe de más de 200 páginas firmado por 114 autores del nuevo Center for Research on Foundation Models de Stanford. Stanford HAI presenta el centro y el informe el 18.
Qué aportó
Acuña «modelo fundacional» para los modelos entrenados con datos amplios que se adaptan a muchas tareas, como BERT o GPT-3, y estudia a la vez sus posibilidades y sus riesgos.
Desarrollo
En 2021 unos pocos modelos grandes, como BERT o GPT-3, servían de punto de partida para aplicaciones muy distintas. Faltaba un nombre para esa clase de modelo, y el informe de Stanford lo propone: un modelo fundacional es cualquier modelo entrenado con datos amplios, en general con autosupervisión a gran escala, que se puede adaptar a una gran variedad de tareas.
Los autores explican la palabra: estos modelos son centrales, porque mucho se construye sobre ellos, y a la vez incompletos, porque hay que adaptarlos a cada uso. El informe ordena el fenómeno con dos ideas. La escala hace que aparezcan capacidades nuevas que nadie programó, y su eficacia en tantas tareas empuja a usar el mismo modelo como base de todo, de modo que sus defectos los heredan todos los modelos adaptados a partir de él.
El informe recorre las capacidades (lenguaje, visión, robótica, razonamiento), los principios técnicos, las aplicaciones (derecho, sanidad, educación) y el efecto en la sociedad: desigualdad, mal uso, impacto económico y ambiental, cuestiones legales y éticas. Se publicó con licencia Creative Commons de atribución, que permite reproducirlo citando a sus autores.
El informe se subió a arXiv el 16 de agosto de 2021, y Stanford HAI presentó el centro y el informe dos días después.
Viene de
ELMo, GPT-1 y BERT (15 de febrero de 2018), GPT-3 (28 de mayo de 2020)
Influencia directa documentada
El informe acuña el término para los modelos como BERT y GPT-3, que se entrenan con datos amplios y se adaptan a muchas tareas, y los cita como ejemplos desde la primera frase
Hilos que pasan por aquí
- La escala como método (paso 7 de 8)
Bibliografía
Fuente original
- On the Opportunities and Risks of Foundation Models (arXiv:2108.07258) (se abre en una pestaña nueva). Rishi Bommasani y otros 113 autores, del Center for Research on Foundation Models de Stanford, 2021. licencia libre: CC BY 4.0
- p. 3 Introducción y figura 1: la definición de modelo fundacional y las dos ideas que la sostienen, emergencia y homogeneización.
Estudios y contexto
Cómo citar
«El término «modelo fundacional»». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/modelos-fundacionales
Última revisión de esta ficha: 13 de noviembre de 2026.