ResNet
Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Aprendizaje profundo
- Linaje
- Neuronas y redes
- Tipo
- Publicación
Quién
Microsoft Research Asia
Qué ocurrió
Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun, de Microsoft Research Asia, publican las redes residuales: redes de hasta 152 capas, ocho veces más profundas que las anteriores, que ganan el concurso de clasificación de ImageNet de 2015 con un 3,57 % de error.
Qué aportó
Las conexiones residuales permiten entrenar redes de cientos de capas. Se convierten en una pieza estándar de casi todas las redes profundas posteriores, incluido el Transformer.
Desarrollo
Después de AlexNet, las redes de visión se hicieron cada vez más profundas, y las de 2014 llegaban a una veintena de capas. Pero añadir más capas dejó de ayudar: a partir de cierto punto, una red más profunda se entrenaba peor que una menos profunda, aunque en teoría pudiera hacer lo mismo.
En mayo de 2015, las highway networks de Srivastava, Greff y Schmidhuber, en el laboratorio suizo IDSIA, ya habían entrenado redes de cientos de capas con conexiones reguladas por puertas. He y sus colegas, en el laboratorio de Microsoft en Pekín, simplificaron la idea y cambiaron lo que aprende cada bloque de capas. En lugar de aprender una transformación completa, aprende solo la diferencia, el residuo, respecto a su entrada, que se suma de vuelta por un atajo. Si un bloque no aporta nada, le basta con aprender un residuo cercano a cero. Así la señal y los gradientes atraviesan sin degradarse redes muy profundas.
En ImageNet evaluaron redes de hasta 152 capas, ocho veces más profundas que las VGG y aun así de menor complejidad, y un conjunto de ellas logró un 3,57 % de error, primer puesto en la clasificación de ILSVRC 2015. Con las mismas redes ganaron también la detección y la localización en ImageNet y la detección y la segmentación en COCO. En CIFAR-10 probaron redes de más de mil capas.
El artículo se publicó en CVPR 2016. Las conexiones residuales están en casi todas las arquitecturas profundas que vinieron después.
Una entrada x baja por dos cajas, «capa con pesos», con una ReLU entre ellas, hasta un círculo con el signo más. Desde x sale también una línea de color que rodea las capas y llega al mismo círculo. Debajo, la salida, F(x) + x.
Nivel técnico
Un bloque residual calcula y = F(x) + x: las capas solo tienen que aprender la diferencia F(x) entre la salida deseada y la entrada. Si lo mejor es no cambiar nada, basta con llevar F a cero, y eso es más fácil que conseguir que varias capas no lineales reproduzcan su entrada.
El atajo no añade parámetros. Sin atajos, los autores vieron que una red de 34 capas tenía más error de entrenamiento que una de 18; con ellos, la de 34 era mejor que la de 18, y pudieron llegar a 152 capas en ImageNet.
Lleva a
Transformer (12 de junio de 2017)
Influencia directa documentada
El Transformer emplea «una conexión residual» alrededor de cada subcapa del codificador y del decodificador, citando a He y otros (apartado 3.1)
Hilos que pasan por aquí
- De la atención al Transformer (paso 3 de 4)
Bibliografía
Fuente original
- Deep Residual Learning for Image Recognition (arXiv:1512.03385) (se abre en una pestaña nueva). Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun, 2015
- Highway Networks (arXiv:1505.00387) (se abre en una pestaña nueva). Rupesh Kumar Srivastava, Klaus Greff y Jürgen Schmidhuber, 2015
Estudios y contexto
- Deep Residual Learning for Image Recognition. CVPR 2016, pp. 770-778 (se abre en una pestaña nueva). Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun, 2016
Cómo citar
«ResNet». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/resnet
Última revisión de esta ficha: 13 de noviembre de 2026.