Retropropagación de Rumelhart, Hinton y Williams
Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Redes neuronales
- Linaje
- Neuronas y redes
- Tipo
- Popularización
Quién
Universidad de California en San Diego, Carnegie Mellon
Qué ocurrió
David Rumelhart, Geoffrey Hinton y Ronald Williams publican en Nature «Learning representations by back-propagating errors». El mismo año desarrollan el método en un capítulo de Parallel Distributed Processing.
Qué aportó
Popularizan la retropropagación y demuestran que una red con capas ocultas aprende representaciones internas útiles. Es el método con el que se entrenan casi todas las redes neuronales desde entonces.
Desarrollo
El método para calcular gradientes hacia atrás existía desde Linnainmaa en 1970, Amari había entrenado en 1967 una red de varias capas por descenso de gradiente y Werbos lo había aplicado a redes neuronales en 1982. David Parker y el propio LeCun llegaron a él por su cuenta en 1985. Lo que faltaba era mostrar, de forma convincente y a una audiencia amplia, que con él una red de varias capas aprendía algo que no se le había enseñado de forma explícita.
Rumelhart, psicólogo de San Diego, Hinton y Williams lo hicieron con ejemplos cuidadosamente elegidos. En uno, la red aprendía relaciones de parentesco en dos árboles genealógicos, uno inglés y otro italiano, y sus unidades ocultas descubrían por sí solas rasgos como la nacionalidad o la generación de cada persona, sin que nadie se los hubiera indicado. Las capas ocultas, que el perceptrón no sabía entrenar, construían sus propias representaciones.
El artículo apareció en Nature, y el capítulo correspondiente formaba parte de Parallel Distributed Processing, los dos volúmenes del grupo de Rumelhart y James McClelland que se convirtieron en el manifiesto del conexionismo. Juntos dieron a las redes neuronales una legitimidad que no tenían desde 1969.
La retropropagación es hoy el núcleo del entrenamiento de las redes neuronales, de las convolucionales al Transformer. La ACM citó este trabajo al conceder a Hinton el premio Turing de 2018, anunciado en 2019, y el debate sobre a quién corresponde la prioridad del método sigue abierto.
Una red con dos entradas, tres neuronas ocultas y una salida. Una flecha superior indica que la señal avanza hasta la salida, donde se calcula el error como la diferencia entre la salida y el objetivo. Una flecha inferior, de otro color, indica que el error vuelve capa a capa y corrige cada peso, por ejemplo el peso w resaltado entre una neurona oculta y la salida.
Nivel técnico
Una red calcula su salida capa a capa. En cada neurona, z = Σ wᵢ·aᵢ + b y a = f(z), donde f es una función suave, como la sigmoide. El error mide la distancia entre la salida y el objetivo, por ejemplo E = ½·(y − t)².
Para corregir un peso hay que saber cuánto cambia el error al moverlo: la derivada ∂E/∂w. La retropropagación la obtiene con la regla de la cadena. En la salida, δ = (y − t)·f′(z). En una neurona oculta j, δⱼ = f′(zⱼ)·Σₖ wⱼₖ·δₖ: su parte de culpa es la suma de las culpas de las neuronas a las que alimenta, pesadas por sus conexiones. Con esos valores, cada peso se corrige con Δwᵢⱼ = −η·δⱼ·aᵢ, donde η es la tasa de aprendizaje.
La clave práctica es el coste: calcular todas las derivadas cuesta del mismo orden que una pasada hacia delante, tenga la red los pesos que tenga. Por eso el método escala a redes de miles de millones de parámetros.
Malentendidos frecuentes
Se suele decir: Rumelhart, Hinton y Williams inventaron la retropropagación en 1986.
En realidad: El cálculo de gradientes hacia atrás es de Linnainmaa (1970), y Werbos lo aplicó a redes neuronales en 1982. El artículo de 1986 mostró que con él las capas ocultas aprenden representaciones útiles, y fue el que lo difundió.
Se suele decir: La retropropagación imita la forma en que aprende el cerebro.
En realidad: Es un método matemático para calcular derivadas. Las neuronas biológicas no envían un error exacto de vuelta por las mismas conexiones, y cómo aprende el cerebro sigue siendo objeto de investigación.
Vídeos
- Geoffrey Hinton and Yann LeCun, 2018 ACM A.M. Turing Award Lecture "The Deep Learning Revolution" (se abre en una pestaña nueva) (Association for Computing Machinery (ACM) · en inglés)
Viene de
Precursores de la retropropagación (octubre de 1960), Diferenciación automática en modo inverso (1970), Tesis de Werbos (1974)
Convergencia independiente
Rumelhart llegó al método por su cuenta hacia 1982 y el artículo de 1986 no cita los trabajos previos
Lleva a
Red convolucional de LeCun (1989)
Influencia directa documentada
La red de 1989 se entrena con retropropagación, como dice el título del artículo
Hilos que pasan por aquí
- El invierno de las redes (paso 3 de 11)
Bibliografía
Fuente original
- Learning representations by back-propagating errors. Nature, 323(6088), pp. 533-536 (se abre en una pestaña nueva). David E. Rumelhart, Geoffrey E. Hinton y Ronald J. Williams, 1986
Estudios y contexto
Cómo citar
«Retropropagación de Rumelhart, Hinton y Williams». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/retropropagacion-1986
Última revisión de esta ficha: 13 de noviembre de 2026.