La historia de la IA

Mixtral 8x7B

Etapa 5 · IA generativa, razonamiento y agentes (2022–2026) › Modelos de frontera

Linaje
Neuronas y redes
Tipo
Implementación

Quién

Mistral AI

Qué ocurrió

La empresa francesa Mistral AI publica Mixtral 8x7B, un modelo de mezcla dispersa de expertos con pesos abiertos bajo licencia Apache 2.0. De sus 47.000 millones de parámetros, solo usa unos 13.000 millones en cada token, e iguala o supera a Llama 2 70B y a GPT-3.5 en la mayoría de las pruebas.

Qué aportó

Lleva la mezcla de expertos a los modelos abiertos: la capacidad de un modelo grande con el coste de uso de uno mediano. Es la principal contribución europea a la carrera de los modelos de lenguaje.

Desarrollo

Mistral AI se fundó en París en 2023, y a finales de ese año ya competía con los grandes laboratorios estadounidenses publicando sus modelos con pesos abiertos, es decir, con los valores numéricos del modelo entrenado al alcance de cualquiera que quiera ejecutarlo o ajustarlo.

Mixtral 8x7B llegó de forma poco habitual. El 8 de diciembre de 2023 la empresa publicó en X un enlace a un archivo de 87 GB para descargar por BitTorrent, sin más explicación. La presentación oficial, con su licencia Apache 2.0, llegó el 11 de diciembre.

Su arquitectura es una mezcla dispersa de expertos. Cada capa tiene ocho bloques de cálculo distintos, los expertos, y un enrutador elige dos de ellos para cada token. El modelo tiene unos 47.000 millones de parámetros en total, pero en cada paso solo usa unos 13.000 millones, de modo que responde con la rapidez y el coste de un modelo mucho más pequeño.

Según el artículo técnico, publicado en enero de 2024, Mixtral igualaba o superaba a Llama 2 70B y a GPT-3.5 en casi todas las pruebas, con ventajas claras en matemáticas, programación y textos en varios idiomas. La versión ajustada para seguir instrucciones superaba a GPT-3.5 Turbo, Claude 2.1 y Gemini Pro en las comparaciones de preferencias humanas.

La mezcla de expertos se convirtió después en la arquitectura habitual de los grandes modelos, abiertos y cerrados, de DeepSeek-V3 a Gemini 3.

Un token entra en el enrutador, que tiene líneas hacia ocho expertos. Dos de ellos, destacados, se unen a una caja final de suma ponderada; los otros seis quedan sin usar.

Para cada token, el enrutador elige dos de los ocho expertos y suma sus salidas.

Nivel técnico

En un Transformer, cada capa tiene un bloque de atención y un bloque de cálculo, la red de avance. Mixtral mantiene la atención común y sustituye la red de avance por ocho, los expertos.

Para cada token, un enrutador calcula una puntuación por experto y se queda con las dos más altas. La salida es la suma de esos dos expertos, ponderada por sus puntuaciones normalizadas: y = Σ softmax(TopK(x·W))ᵢ · Eᵢ(x), con K = 2.

Por eso las cuentas no son ocho por siete. El nombre 8x7B suma 56.000 millones, pero la atención y las demás capas se comparten, y el total es de 46.700 millones. Cada token pasa por 12.900 millones. El artículo vio que el enrutador no reparte los temas entre expertos: elige más bien por la forma del texto, por ejemplo la sintaxis del código.

Lleva a

  • DeepSeek-V3 (26 de diciembre de 2024)

    Herencia sin relación directa demostrada

    Los dos son modelos abiertos de mezcla dispersa de expertos que activan solo una parte de sus parámetros en cada token

Bibliografía

Fuente original

Cómo citar

«Mixtral 8x7B». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/mixtral

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva