La historia de la IA

ResNet

Etapa 4 · Aprendizaje profundo y modelos fundacionales (2012–2021) › Aprendizaje profundo

Linaje
Neuronas y redes
Tipo
Publicación

Quién

Microsoft Research Asia

Qué ocurrió

Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun, de Microsoft Research Asia, publican las redes residuales: redes de hasta 152 capas, ocho veces más profundas que las anteriores, que ganan el concurso de clasificación de ImageNet de 2015 con un 3,57 % de error.

Qué aportó

Las conexiones residuales permiten entrenar redes de cientos de capas. Se convierten en una pieza estándar de casi todas las redes profundas posteriores, incluido el Transformer.

Desarrollo

Después de AlexNet, las redes de visión se hicieron cada vez más profundas, y las de 2014 llegaban a una veintena de capas. Pero añadir más capas dejó de ayudar: a partir de cierto punto, una red más profunda se entrenaba peor que una menos profunda, aunque en teoría pudiera hacer lo mismo.

En mayo de 2015, las highway networks de Srivastava, Greff y Schmidhuber, en el laboratorio suizo IDSIA, ya habían entrenado redes de cientos de capas con conexiones reguladas por puertas. He y sus colegas, en el laboratorio de Microsoft en Pekín, simplificaron la idea y cambiaron lo que aprende cada bloque de capas. En lugar de aprender una transformación completa, aprende solo la diferencia, el residuo, respecto a su entrada, que se suma de vuelta por un atajo. Si un bloque no aporta nada, le basta con aprender un residuo cercano a cero. Así la señal y los gradientes atraviesan sin degradarse redes muy profundas.

En ImageNet evaluaron redes de hasta 152 capas, ocho veces más profundas que las VGG y aun así de menor complejidad, y un conjunto de ellas logró un 3,57 % de error, primer puesto en la clasificación de ILSVRC 2015. Con las mismas redes ganaron también la detección y la localización en ImageNet y la detección y la segmentación en COCO. En CIFAR-10 probaron redes de más de mil capas.

El artículo se publicó en CVPR 2016. Las conexiones residuales están en casi todas las arquitecturas profundas que vinieron después.

Una entrada x baja por dos cajas, «capa con pesos», con una ReLU entre ellas, hasta un círculo con el signo más. Desde x sale también una línea de color que rodea las capas y llega al mismo círculo. Debajo, la salida, F(x) + x.

Un bloque residual: dos capas calculan una corrección F(x) y un atajo le suma la entrada x sin cambios.

Nivel técnico

Un bloque residual calcula y = F(x) + x: las capas solo tienen que aprender la diferencia F(x) entre la salida deseada y la entrada. Si lo mejor es no cambiar nada, basta con llevar F a cero, y eso es más fácil que conseguir que varias capas no lineales reproduzcan su entrada.

El atajo no añade parámetros. Sin atajos, los autores vieron que una red de 34 capas tenía más error de entrenamiento que una de 18; con ellos, la de 34 era mejor que la de 18, y pudieron llegar a 152 capas en ImageNet.

Lleva a

  • Transformer (12 de junio de 2017)

    Influencia directa documentada

    El Transformer emplea «una conexión residual» alrededor de cada subcapa del codificador y del decodificador, citando a He y otros (apartado 3.1)

Hilos que pasan por aquí

Bibliografía

Fuente original

Estudios y contexto

Cómo citar

«ResNet». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/resnet

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva