La historia de la IA

El término «modelo fundacional»

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje

Linaje
Neuronas y redes
Tipo
Formulación

Quién

Stanford CRFM

Qué ocurrió

El 16 de agosto de 2021 aparece en arXiv «On the Opportunities and Risks of Foundation Models», un informe de más de 200 páginas firmado por 114 autores del nuevo Center for Research on Foundation Models de Stanford. Stanford HAI presenta el centro y el informe el 18.

Qué aportó

Acuña «modelo fundacional» para los modelos entrenados con datos amplios que se adaptan a muchas tareas, como BERT o GPT-3, y estudia a la vez sus posibilidades y sus riesgos.

Desarrollo

En 2021 unos pocos modelos grandes, como BERT o GPT-3, servían de punto de partida para aplicaciones muy distintas. Faltaba un nombre para esa clase de modelo, y el informe de Stanford lo propone: un modelo fundacional es cualquier modelo entrenado con datos amplios, en general con autosupervisión a gran escala, que se puede adaptar a una gran variedad de tareas.

Los autores explican la palabra: estos modelos son centrales, porque mucho se construye sobre ellos, y a la vez incompletos, porque hay que adaptarlos a cada uso. El informe ordena el fenómeno con dos ideas. La escala hace que aparezcan capacidades nuevas que nadie programó, y su eficacia en tantas tareas empuja a usar el mismo modelo como base de todo, de modo que sus defectos los heredan todos los modelos adaptados a partir de él.

El informe recorre las capacidades (lenguaje, visión, robótica, razonamiento), los principios técnicos, las aplicaciones (derecho, sanidad, educación) y el efecto en la sociedad: desigualdad, mal uso, impacto económico y ambiental, cuestiones legales y éticas. Se publicó con licencia Creative Commons de atribución, que permite reproducirlo citando a sus autores.

El informe se subió a arXiv el 16 de agosto de 2021, y Stanford HAI presentó el centro y el informe dos días después.

Viene de

  • ELMo, GPT-1 y BERT (15 de febrero de 2018), GPT-3 (28 de mayo de 2020)

    Influencia directa documentada

    El informe acuña el término para los modelos como BERT y GPT-3, que se entrenan con datos amplios y se adaptan a muchas tareas, y los cita como ejemplos desde la primera frase

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«El término «modelo fundacional»». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/modelos-fundacionales

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva