La historia de la IA

La escala llega a China y Corea

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Transformers y modelos de lenguaje

Linaje
Neuronas y redes
Tipo
Implementación

Quién

Huawei, Academia de Inteligencia Artificial de Pekín, Naver, Baidu

Qué ocurrió

En 2021 laboratorios de China y Corea del Sur entrenan modelos de lenguaje del tamaño de GPT-3 o mayores: PanGu-α, de Huawei, con hasta 200.000 millones de parámetros (26 de abril), Wu Dao 2.0, de la Academia de Inteligencia Artificial de Pekín, con 1,75 billones (junio), y HyperCLOVA, de Naver, en coreano.

Qué aportó

La carrera por la escala deja de ser cosa de unos pocos laboratorios de Estados Unidos, y los modelos grandes se entrenan en otros idiomas y con hardware propio.

Desarrollo

Baidu ya había adaptado en 2019 la receta de BERT al chino con ERNIE, que tapaba durante el preentrenamiento frases y entidades enteras en lugar de palabras sueltas, y mejoró el estado del arte en cinco tareas en chino. GPT-3, en 2020, cambió la escala de la competencia.

El 26 de abril de 2021, un equipo de Huawei y otras instituciones presentó PanGu-α, un modelo autorregresivo en chino de hasta 200.000 millones de parámetros, entrenado con 1,1 TB de texto chino en 2.048 procesadores Ascend 910, de la propia Huawei, con su entorno MindSpore.

A principios de junio, la Academia de Inteligencia Artificial de Pekín (BAAI) presentó en su congreso anual Wu Dao 2.0, con 1,75 billones de parámetros, unas diez veces los de GPT-3. Es un modelo de mezcla de expertos: solo una parte de la red se activa para cada entrada. Escribía poemas y ensayos en chino, describía imágenes, generaba imágenes a partir de texto y predecía estructuras de proteínas. El presidente de BAAI, Zhang Hongjiang, dijo que el camino hacia la inteligencia artificial general eran los grandes modelos y los grandes ordenadores.

En Corea del Sur, Naver describió en septiembre HyperCLOVA, una variante de GPT-3 de 82.000 millones de parámetros entrenada con 560.000 millones de piezas de texto centradas en el coreano, que lograba en ese idioma el estado del arte en aprendizaje con pocos ejemplos.

Viene de

  • ELMo, GPT-1 y BERT (15 de febrero de 2018), GPT-3 (28 de mayo de 2020)

    Influencia directa documentada

    ERNIE se inspira en la estrategia de enmascarado de BERT, y PanGu-α y HyperCLOVA se presentan a partir de GPT-3 (resúmenes de los tres artículos)

Hilos que pasan por aquí

Bibliografía

Cómo citar

«La escala llega a China y Corea». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/modelos-grandes-china-corea

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva