La historia de la IA

Retropropagación de Rumelhart, Hinton y Williams

Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Redes neuronales

Linaje
Neuronas y redes
Tipo
Popularización

Quién

Universidad de California en San Diego, Carnegie Mellon

Qué ocurrió

David Rumelhart, Geoffrey Hinton y Ronald Williams publican en Nature «Learning representations by back-propagating errors». El mismo año desarrollan el método en un capítulo de Parallel Distributed Processing.

Qué aportó

Popularizan la retropropagación y demuestran que una red con capas ocultas aprende representaciones internas útiles. Es el método con el que se entrenan casi todas las redes neuronales desde entonces.

Desarrollo

El método para calcular gradientes hacia atrás existía desde Linnainmaa en 1970, Amari había entrenado en 1967 una red de varias capas por descenso de gradiente y Werbos lo había aplicado a redes neuronales en 1982. David Parker y el propio LeCun llegaron a él por su cuenta en 1985. Lo que faltaba era mostrar, de forma convincente y a una audiencia amplia, que con él una red de varias capas aprendía algo que no se le había enseñado de forma explícita.

Rumelhart, psicólogo de San Diego, Hinton y Williams lo hicieron con ejemplos cuidadosamente elegidos. En uno, la red aprendía relaciones de parentesco en dos árboles genealógicos, uno inglés y otro italiano, y sus unidades ocultas descubrían por sí solas rasgos como la nacionalidad o la generación de cada persona, sin que nadie se los hubiera indicado. Las capas ocultas, que el perceptrón no sabía entrenar, construían sus propias representaciones.

El artículo apareció en Nature, y el capítulo correspondiente formaba parte de Parallel Distributed Processing, los dos volúmenes del grupo de Rumelhart y James McClelland que se convirtieron en el manifiesto del conexionismo. Juntos dieron a las redes neuronales una legitimidad que no tenían desde 1969.

La retropropagación es hoy el núcleo del entrenamiento de las redes neuronales, de las convolucionales al Transformer. La ACM citó este trabajo al conceder a Hinton el premio Turing de 2018, anunciado en 2019, y el debate sobre a quién corresponde la prioridad del método sigue abierto.

Una red con dos entradas, tres neuronas ocultas y una salida. Una flecha superior indica que la señal avanza hasta la salida, donde se calcula el error como la diferencia entre la salida y el objetivo. Una flecha inferior, de otro color, indica que el error vuelve capa a capa y corrige cada peso, por ejemplo el peso w resaltado entre una neurona oculta y la salida.

La señal recorre la red hacia delante; el error vuelve hacia atrás y cada peso se corrige según su parte de culpa.

Nivel técnico

Una red calcula su salida capa a capa. En cada neurona, z = Σ wᵢ·aᵢ + b y a = f(z), donde f es una función suave, como la sigmoide. El error mide la distancia entre la salida y el objetivo, por ejemplo E = ½·(y − t)².

Para corregir un peso hay que saber cuánto cambia el error al moverlo: la derivada ∂E/∂w. La retropropagación la obtiene con la regla de la cadena. En la salida, δ = (y − t)·f′(z). En una neurona oculta j, δⱼ = f′(zⱼ)·Σₖ wⱼₖ·δₖ: su parte de culpa es la suma de las culpas de las neuronas a las que alimenta, pesadas por sus conexiones. Con esos valores, cada peso se corrige con Δwᵢⱼ = −η·δⱼ·aᵢ, donde η es la tasa de aprendizaje.

La clave práctica es el coste: calcular todas las derivadas cuesta del mismo orden que una pasada hacia delante, tenga la red los pesos que tenga. Por eso el método escala a redes de miles de millones de parámetros.

Malentendidos frecuentes

  • Se suele decir: Rumelhart, Hinton y Williams inventaron la retropropagación en 1986.

    En realidad: El cálculo de gradientes hacia atrás es de Linnainmaa (1970), y Werbos lo aplicó a redes neuronales en 1982. El artículo de 1986 mostró que con él las capas ocultas aprenden representaciones útiles, y fue el que lo difundió.

  • Se suele decir: La retropropagación imita la forma en que aprende el cerebro.

    En realidad: Es un método matemático para calcular derivadas. Las neuronas biológicas no envían un error exacto de vuelta por las mismas conexiones, y cómo aprende el cerebro sigue siendo objeto de investigación.

Vídeos

Viene de

Lleva a

  • Red convolucional de LeCun (1989)

    Influencia directa documentada

    La red de 1989 se entrena con retropropagación, como dice el título del artículo

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«Retropropagación de Rumelhart, Hinton y Williams». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/retropropagacion-1986

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva