ULMFiT
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje
- Linaje
- Neuronas y redes
- Tipo
- Publicación
Quién
fast.ai, Universidad Nacional de Irlanda en Galway
Qué ocurrió
Jeremy Howard, de fast.ai, y Sebastian Ruder, del Insight Centre de la Universidad Nacional de Irlanda en Galway, publican en arXiv el 18 de enero de 2018 un método para ajustar un modelo de lenguaje preentrenado a la clasificación de textos. En su versión de ACL 2018 se llama ULMFiT.
Qué aportó
Lleva al lenguaje el aprendizaje por transferencia que ya funcionaba en visión: preentrenar una vez y ajustar para cada tarea con pocos ejemplos.
Desarrollo
En visión por ordenador era habitual partir de una red ya entrenada con ImageNet y ajustarla a la tarea propia. En el procesamiento del lenguaje no: según el resumen del artículo, los métodos de la época seguían necesitando cambios para cada tarea y entrenarse desde cero.
Howard y Ruder propusieron un método general por pasos. Primero, un modelo de lenguaje aprende a predecir la palabra siguiente con un corpus amplio. Después, ese modelo se ajusta al texto de la tarea concreta. Por último, se le añade un clasificador y se termina el ajuste. Para que el modelo no olvidara lo aprendido al ajustarlo, introdujeron técnicas como descongelar las capas poco a poco y usar un ritmo de aprendizaje distinto para cada capa.
La primera versión, llamada FitLaM, mejoraba el estado del arte en cinco tareas de clasificación de textos. La definitiva, ya con el nombre de ULMFiT, lo hizo en seis y redujo el error entre un 18 y un 24 % en la mayoría de los conjuntos de datos. Con solo 100 ejemplos etiquetados, igualaba a un modelo entrenado desde cero con cien veces más datos. Los autores publicaron los modelos preentrenados y el código.
Unos meses después, el artículo de GPT-1 citó a Howard y Ruder entre los trabajos más cercanos al suyo: preentrenar un modelo de lenguaje y ajustarlo después con supervisión. ELMo, GPT-1 y BERT llevaron esa receta a otros modelos y a muchas más tareas.
Lleva a
ELMo, GPT-1 y BERT (15 de febrero de 2018)
Influencia directa documentada
El artículo de GPT-1 cita a Howard y Ruder entre los trabajos más cercanos al suyo: preentrenar con un objetivo de modelo de lenguaje y ajustar después con supervisión (apartado 2)
Hilos que pasan por aquí
- La escala como método (paso 1 de 8)
Bibliografía
Fuente original
- Universal Language Model Fine-tuning for Text Classification (arXiv:1801.06146) (se abre en una pestaña nueva). Jeremy Howard y Sebastian Ruder, 2018
- Improving Language Understanding by Generative Pre-Training (se abre en una pestaña nueva). Alec Radford, Karthik Narasimhan, Tim Salimans e Ilya Sutskever, 2018
- p. 4 (se abre en una pestaña nueva) Figura 1: el Transformer que se preentrena y cómo se adapta la entrada de cada tarea para el ajuste.
Estudios y contexto
- Universal Language Model Fine-tuning for Text Classification. Actas de ACL 2018, vol. 1, pp. 328-339 (se abre en una pestaña nueva). Jeremy Howard y Sebastian Ruder, 2018. licencia libre: CC BY 4.0
Cómo citar
«ULMFiT». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/ulmfit
Última revisión de esta ficha: 13 de noviembre de 2026.