Diferenciación automática en modo inverso
Etapa 2 · Nace la IA (1943–1979) › Redes neuronales y aprendizaje
- Linaje
- Neuronas y redes
- Tipo
- Formulación
Quién
Universidad de Helsinki
Qué ocurrió
Seppo Linnainmaa presenta en su tesis de máster en la Universidad de Helsinki un método para calcular el efecto acumulado de los errores de redondeo que es el modo inverso de la diferenciación automática. Publica parte de los resultados en inglés en 1976, en la revista BIT.
Qué aportó
Es la forma moderna y general de la retropropagación: calcula todas las derivadas de una función compuesta en un solo recorrido hacia atrás, con un coste del mismo orden que calcular la función.
Desarrollo
Linnainmaa no pensaba en redes neuronales, sino en un problema de análisis numérico. Un programa hace miles de operaciones con números redondeados, y cada redondeo introduce un pequeño error. Para saber cuánto afecta cada uno al resultado final hay que conocer la derivada del resultado respecto a cada operación intermedia.
Su solución fue recorrer el cálculo al revés. Se ejecuta el programa una vez hacia delante guardando los valores intermedios, y después se vuelve del resultado hacia el principio aplicando la regla de la cadena a cada operación. Así se obtienen las derivadas respecto a todas las variables intermedias en un solo recorrido, con un coste comparable al del cálculo original, en lugar de repetir el cálculo una vez por variable.
Según contó a Andreas Griewank, la idea se le ocurrió una tarde soleada de 1970 en un parque de Copenhague. Linnainmaa presentó el método como una forma de estimar errores de redondeo, no como una manera barata de calcular gradientes, y el trabajo pasó casi inadvertido hasta que Griewank lo contactó a finales de los años ochenta.
Una red neuronal es una función compuesta como cualquier otra, y entrenarla con retropropagación es aplicar este modo inverso. Por eso Schmidhuber considera a Linnainmaa el primero en publicar lo que hoy se llama retropropagación.
Una cadena de cálculo de izquierda a derecha, de x a una multiplicación por w, una función f y el resultado E. Debajo, unas flechas discontinuas vuelven de E hacia la izquierda con las derivadas de E respecto a y, a y w, cada una obtenida de la siguiente.
Nivel técnico
Si el cálculo es la cadena a = w·x, y = f(a), E = g(y), la regla de la cadena da ∂E/∂w = g′(y) · f′(a) · x.
El modo inverso recorre esa cadena desde el final: calcula ∂E/∂y, la usa para obtener ∂E/∂a y esta para ∂E/∂w. Cada derivada intermedia se calcula una sola vez y sirve para todas las variables anteriores. Con muchas entradas y una sola salida, como el error de una red con millones de pesos, se obtiene el gradiente entero con un coste de unas pocas veces el del cálculo hacia delante.
El modo directo haría falta repetirlo una vez por cada variable. El precio del modo inverso es la memoria: hay que guardar los valores intermedios del recorrido hacia delante.
Lleva a
Retropropagación de Rumelhart, Hinton y Williams (octubre de 1986)
Convergencia independiente
Rumelhart llegó al método por su cuenta hacia 1982 y el artículo de 1986 no cita los trabajos previos
Bibliografía
Fuente original
Estudios y contexto
- Who Invented the Reverse Mode of Differentiation? Documenta Mathematica, volumen extra «Optimization Stories», pp. 389-400 (se abre en una pestaña nueva). Andreas Griewank, 2012
- Annotated History of Modern AI and Deep Learning (arXiv:2212.11279) (se abre en una pestaña nueva). Jürgen Schmidhuber, 2022
Cómo citar
«Diferenciación automática en modo inverso». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/linnainmaa-diferenciacion-inversa
Última revisión de esta ficha: 13 de noviembre de 2026.