word2vec
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Aprendizaje profundo
- Linaje
- Neuronas y redes
- Tipo
- Publicación
Quién
Qué ocurrió
Tomáš Mikolov, Kai Chen, Greg Corrado y Jeffrey Dean, de Google, publican en arXiv dos arquitecturas para calcular vectores de palabras a partir de corpus muy grandes. Con un segundo artículo del mismo año forman word2vec, que Google libera en julio de 2013.
Qué aportó
Representa cada palabra como un vector cuyas distancias reflejan relaciones de significado, con mucha más precisión y mucho menos cálculo que los modelos anteriores.
Desarrollo
Para un ordenador, una palabra era un símbolo sin relación con las demás. Los modelos de lenguaje neuronales, como el de Bengio de 2003 o los recurrentes del propio Mikolov en 2010, ya aprendían vectores que acercaban palabras parecidas, pero eran caros de entrenar con mucho texto.
Mikolov y sus colegas simplificaron el problema hasta lo mínimo. Propusieron dos arquitecturas: CBOW, que adivina una palabra a partir de las que la rodean, como un ejercicio de rellenar huecos, y skip-gram, que hace lo contrario y predice el contexto a partir de la palabra. CBOW es más rápido, y skip-gram funciona mejor con palabras poco frecuentes. Según el resumen, lograban grandes mejoras de precisión con un coste de cálculo mucho menor.
Los vectores resultantes capturaban relaciones de forma sorprendente: restando y sumando vectores se resolvían analogías como «hombre es a mujer lo que hermano es a hermana». Un segundo artículo, presentado en NIPS 2013, mejoró el método y recibió en 2023 el premio a la prueba del tiempo de NeurIPS.
Nadie explicó del todo por qué funcionaba tan bien, y estudios posteriores atribuyeron parte de su ventaja a la elección de hiperparámetros. Aun así, los vectores de palabras preentrenados se convirtieron durante años en la forma habitual de dar el texto a una red neuronal.
Viene de
Modelo de lenguaje neuronal probabilístico (febrero de 2003)
Influencia directa documentada
Precursor reconocido
Lleva a
ELMo, GPT-1 y BERT (15 de febrero de 2018)
Influencia directa documentada
ELMo parte de los vectores de palabras preentrenados (cita a Mikolov y otros, 2013) y propone sustituirlos por representaciones que dependen del contexto (introducción)
Bibliografía
Fuente original
- Efficient Estimation of Word Representations in Vector Space (arXiv:1301.3781) (se abre en una pestaña nueva). Tomas Mikolov, Kai Chen, Greg Corrado y Jeffrey Dean, 2013
Cómo citar
«word2vec». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/word2vec
Última revisión de esta ficha: 13 de noviembre de 2026.