La historia de la IA

word2vec

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Aprendizaje profundo

Linaje
Neuronas y redes
Tipo
Publicación

Quién

Google

Qué ocurrió

Tomáš Mikolov, Kai Chen, Greg Corrado y Jeffrey Dean, de Google, publican en arXiv dos arquitecturas para calcular vectores de palabras a partir de corpus muy grandes. Con un segundo artículo del mismo año forman word2vec, que Google libera en julio de 2013.

Qué aportó

Representa cada palabra como un vector cuyas distancias reflejan relaciones de significado, con mucha más precisión y mucho menos cálculo que los modelos anteriores.

Desarrollo

Para un ordenador, una palabra era un símbolo sin relación con las demás. Los modelos de lenguaje neuronales, como el de Bengio de 2003 o los recurrentes del propio Mikolov en 2010, ya aprendían vectores que acercaban palabras parecidas, pero eran caros de entrenar con mucho texto.

Mikolov y sus colegas simplificaron el problema hasta lo mínimo. Propusieron dos arquitecturas: CBOW, que adivina una palabra a partir de las que la rodean, como un ejercicio de rellenar huecos, y skip-gram, que hace lo contrario y predice el contexto a partir de la palabra. CBOW es más rápido, y skip-gram funciona mejor con palabras poco frecuentes. Según el resumen, lograban grandes mejoras de precisión con un coste de cálculo mucho menor.

Los vectores resultantes capturaban relaciones de forma sorprendente: restando y sumando vectores se resolvían analogías como «hombre es a mujer lo que hermano es a hermana». Un segundo artículo, presentado en NIPS 2013, mejoró el método y recibió en 2023 el premio a la prueba del tiempo de NeurIPS.

Nadie explicó del todo por qué funcionaba tan bien, y estudios posteriores atribuyeron parte de su ventaja a la elección de hiperparámetros. Aun así, los vectores de palabras preentrenados se convirtieron durante años en la forma habitual de dar el texto a una red neuronal.

Viene de

Lleva a

  • ELMo, GPT-1 y BERT (15 de febrero de 2018)

    Influencia directa documentada

    ELMo parte de los vectores de palabras preentrenados (cita a Mikolov y otros, 2013) y propone sustituirlos por representaciones que dependen del contexto (introducción)

Bibliografía

Cómo citar

«word2vec». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/word2vec

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva