Redes profundas entrenadas en GPU
Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Hardware y datos
- Linaje
- Máquinas y cómputo
- Tipo
- Implementación
Quién
Universidad de Stanford
Qué ocurrió
Rajat Raina, Anand Madhavan y Andrew Ng, de Stanford, muestran en el congreso ICML que las GPU entrenan redes profundas hasta 70 veces más rápido que un procesador de dos núcleos: una red de cuatro capas y 100 millones de parámetros se entrena en un día en lugar de semanas.
Qué aportó
Demuestra que el hardware gráfico barato hace viable entrenar redes profundas grandes con muchos datos, una de las condiciones del despegue del aprendizaje profundo.
Desarrollo
En 2006, Hinton había mostrado que las redes profundas se podían entrenar capa a capa sin etiquetas. El problema era el tiempo: con los procesadores de la época, los modelos interesantes, con muchos parámetros y muchos datos, tardaban semanas en entrenarse, así que los investigadores se conformaban con modelos pequeños.
Raina, Madhavan y Ng se preguntaron si las GPU, que ya se podían programar con CUDA, cambiarían eso. Adaptaron dos métodos de aprendizaje no supervisado de la época, las redes de creencia profundas y la codificación dispersa, para aprovechar el paralelismo de la tarjeta gráfica, y propusieron principios generales para repartir este tipo de aprendizaje entre los miles de hilos de una GPU.
Los resultados fueron claros. Las redes de creencia profundas se entrenaban hasta 70 veces más rápido que en un procesador de dos núcleos, y una red de cuatro capas con 100 millones de parámetros pasaba de semanas a alrededor de un día. La codificación dispersa ganaba entre 5 y 15 veces.
El mensaje del artículo era que el tamaño del modelo ya no estaba limitado por la paciencia del investigador. En pocos años, entrenar en GPU pasó a ser la norma en el aprendizaje profundo.
Viene de
Redes de creencia profundas (julio de 2006)
Influencia directa documentada
Raina, Madhavan y Ng aceleran en GPU precisamente las redes de creencia profundas y citan el trabajo de Hinton
CUDA (15 de febrero de 2007)
Influencia directa documentada
El artículo programa las GPU de Nvidia con CUDA para repartir el aprendizaje entre miles de hilos
Hilos que pasan por aquí
- El invierno de las redes (paso 8 de 11)
Bibliografía
Fuente original
- Large-scale deep unsupervised learning using graphics processors. Actas de ICML 2009, pp. 873-880 (se abre en una pestaña nueva). Rajat Raina, Anand Madhavan y Andrew Y. Ng, 2009
Cómo citar
«Redes profundas entrenadas en GPU». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/raina-red-profunda-gpu
Última revisión de esta ficha: 13 de noviembre de 2026.