La historia de la IA

Redes profundas entrenadas en GPU

Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Hardware y datos

Linaje
Máquinas y cómputo
Tipo
Implementación

Quién

Universidad de Stanford

Qué ocurrió

Rajat Raina, Anand Madhavan y Andrew Ng, de Stanford, muestran en el congreso ICML que las GPU entrenan redes profundas hasta 70 veces más rápido que un procesador de dos núcleos: una red de cuatro capas y 100 millones de parámetros se entrena en un día en lugar de semanas.

Qué aportó

Demuestra que el hardware gráfico barato hace viable entrenar redes profundas grandes con muchos datos, una de las condiciones del despegue del aprendizaje profundo.

Desarrollo

En 2006, Hinton había mostrado que las redes profundas se podían entrenar capa a capa sin etiquetas. El problema era el tiempo: con los procesadores de la época, los modelos interesantes, con muchos parámetros y muchos datos, tardaban semanas en entrenarse, así que los investigadores se conformaban con modelos pequeños.

Raina, Madhavan y Ng se preguntaron si las GPU, que ya se podían programar con CUDA, cambiarían eso. Adaptaron dos métodos de aprendizaje no supervisado de la época, las redes de creencia profundas y la codificación dispersa, para aprovechar el paralelismo de la tarjeta gráfica, y propusieron principios generales para repartir este tipo de aprendizaje entre los miles de hilos de una GPU.

Los resultados fueron claros. Las redes de creencia profundas se entrenaban hasta 70 veces más rápido que en un procesador de dos núcleos, y una red de cuatro capas con 100 millones de parámetros pasaba de semanas a alrededor de un día. La codificación dispersa ganaba entre 5 y 15 veces.

El mensaje del artículo era que el tamaño del modelo ya no estaba limitado por la paciencia del investigador. En pocos años, entrenar en GPU pasó a ser la norma en el aprendizaje profundo.

Viene de

  • Redes de creencia profundas (julio de 2006)

    Influencia directa documentada

    Raina, Madhavan y Ng aceleran en GPU precisamente las redes de creencia profundas y citan el trabajo de Hinton

  • CUDA (15 de febrero de 2007)

    Influencia directa documentada

    El artículo programa las GPU de Nvidia con CUDA para repartir el aprendizaje entre miles de hilos

Hilos que pasan por aquí

Bibliografía

Cómo citar

«Redes profundas entrenadas en GPU». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/raina-red-profunda-gpu

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva