La historia de la IA

ULMFiT

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje

Linaje
Neuronas y redes
Tipo
Publicación

Quién

fast.ai, Universidad Nacional de Irlanda en Galway

Qué ocurrió

Jeremy Howard, de fast.ai, y Sebastian Ruder, del Insight Centre de la Universidad Nacional de Irlanda en Galway, publican en arXiv el 18 de enero de 2018 un método para ajustar un modelo de lenguaje preentrenado a la clasificación de textos. En su versión de ACL 2018 se llama ULMFiT.

Qué aportó

Lleva al lenguaje el aprendizaje por transferencia que ya funcionaba en visión: preentrenar una vez y ajustar para cada tarea con pocos ejemplos.

Desarrollo

En visión por ordenador era habitual partir de una red ya entrenada con ImageNet y ajustarla a la tarea propia. En el procesamiento del lenguaje no: según el resumen del artículo, los métodos de la época seguían necesitando cambios para cada tarea y entrenarse desde cero.

Howard y Ruder propusieron un método general por pasos. Primero, un modelo de lenguaje aprende a predecir la palabra siguiente con un corpus amplio. Después, ese modelo se ajusta al texto de la tarea concreta. Por último, se le añade un clasificador y se termina el ajuste. Para que el modelo no olvidara lo aprendido al ajustarlo, introdujeron técnicas como descongelar las capas poco a poco y usar un ritmo de aprendizaje distinto para cada capa.

La primera versión, llamada FitLaM, mejoraba el estado del arte en cinco tareas de clasificación de textos. La definitiva, ya con el nombre de ULMFiT, lo hizo en seis y redujo el error entre un 18 y un 24 % en la mayoría de los conjuntos de datos. Con solo 100 ejemplos etiquetados, igualaba a un modelo entrenado desde cero con cien veces más datos. Los autores publicaron los modelos preentrenados y el código.

Unos meses después, el artículo de GPT-1 citó a Howard y Ruder entre los trabajos más cercanos al suyo: preentrenar un modelo de lenguaje y ajustarlo después con supervisión. ELMo, GPT-1 y BERT llevaron esa receta a otros modelos y a muchas más tareas.

Lleva a

  • ELMo, GPT-1 y BERT (15 de febrero de 2018)

    Influencia directa documentada

    El artículo de GPT-1 cita a Howard y Ruder entre los trabajos más cercanos al suyo: preentrenar con un objetivo de modelo de lenguaje y ajustar después con supervisión (apartado 2)

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«ULMFiT». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/ulmfit

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva