Modelo de lenguaje neuronal probabilístico
Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Aprendizaje estadístico y modelos probabilísticos
- Linaje
- Datos y aprendizaje
- Tipo
- Publicación
Quién
Universidad de Montreal
Qué ocurrió
Yoshua Bengio, Réjean Ducharme, Pascal Vincent y Christian Jauvin, de la Universidad de Montreal, publican «A Neural Probabilistic Language Model» en el Journal of Machine Learning Research. Una primera versión se presentó en el congreso NIPS de 2000.
Qué aportó
Primer modelo de lenguaje neuronal que aprende a la vez un vector para cada palabra y la probabilidad de la siguiente. Es el antecedente directo de word2vec y de los modelos de lenguaje neuronales.
Desarrollo
Un modelo de lenguaje estima qué palabra es probable que venga a continuación. Los de la época eran modelos de n-gramas: contaban en un corpus cuántas veces aparece cada secuencia de dos, tres o cuatro palabras. Su problema es la maldición de la dimensionalidad: la mayoría de las frases que se encuentran en la práctica no aparecieron nunca en el entrenamiento, y el modelo no sabe qué hacer con ellas.
Bengio y sus colegas propusieron que cada palabra se representara como un punto en un espacio de decenas de dimensiones, y que la red aprendiera esas posiciones al mismo tiempo que aprendía a predecir. Si «perro» y «gato» aparecen en contextos parecidos, sus vectores quedan cerca, y lo aprendido con una frase sobre perros sirve para frases sobre gatos que nunca se vieron.
Con dos corpus de texto, el modelo mejoró de forma clara a los mejores modelos de n-gramas y aprovechó contextos más largos.
La idea de las representaciones distribuidas de palabras reapareció a lo grande con word2vec en 2013 y está en la base de todos los modelos de lenguaje actuales, que siguen aprendiendo vectores para cada fragmento de texto. La ACM citó este trabajo al conceder a Bengio el premio Turing de 2018, anunciado en 2019.
Lleva a
word2vec (16 de enero de 2013)
Influencia directa documentada
Precursor reconocido
Bibliografía
Fuente original
- A Neural Probabilistic Language Model. Journal of Machine Learning Research, 3, pp. 1137-1155 (se abre en una pestaña nueva). Yoshua Bengio, Réjean Ducharme, Pascal Vincent y Christian Jauvin, 2003
Cómo citar
«Modelo de lenguaje neuronal probabilístico». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/bengio-modelo-lenguaje-neuronal
Última revisión de esta ficha: 13 de noviembre de 2026.