La historia de la IA

Diferenciación automática en modo inverso

Etapa 2 · Nace la IA (1943–1979) › Redes neuronales y aprendizaje

Linaje
Neuronas y redes
Tipo
Formulación

Quién

Universidad de Helsinki

Qué ocurrió

Seppo Linnainmaa presenta en su tesis de máster en la Universidad de Helsinki un método para calcular el efecto acumulado de los errores de redondeo que es el modo inverso de la diferenciación automática. Publica parte de los resultados en inglés en 1976, en la revista BIT.

Qué aportó

Es la forma moderna y general de la retropropagación: calcula todas las derivadas de una función compuesta en un solo recorrido hacia atrás, con un coste del mismo orden que calcular la función.

Desarrollo

Linnainmaa no pensaba en redes neuronales, sino en un problema de análisis numérico. Un programa hace miles de operaciones con números redondeados, y cada redondeo introduce un pequeño error. Para saber cuánto afecta cada uno al resultado final hay que conocer la derivada del resultado respecto a cada operación intermedia.

Su solución fue recorrer el cálculo al revés. Se ejecuta el programa una vez hacia delante guardando los valores intermedios, y después se vuelve del resultado hacia el principio aplicando la regla de la cadena a cada operación. Así se obtienen las derivadas respecto a todas las variables intermedias en un solo recorrido, con un coste comparable al del cálculo original, en lugar de repetir el cálculo una vez por variable.

Según contó a Andreas Griewank, la idea se le ocurrió una tarde soleada de 1970 en un parque de Copenhague. Linnainmaa presentó el método como una forma de estimar errores de redondeo, no como una manera barata de calcular gradientes, y el trabajo pasó casi inadvertido hasta que Griewank lo contactó a finales de los años ochenta.

Una red neuronal es una función compuesta como cualquier otra, y entrenarla con retropropagación es aplicar este modo inverso. Por eso Schmidhuber considera a Linnainmaa el primero en publicar lo que hoy se llama retropropagación.

Una cadena de cálculo de izquierda a derecha, de x a una multiplicación por w, una función f y el resultado E. Debajo, unas flechas discontinuas vuelven de E hacia la izquierda con las derivadas de E respecto a y, a y w, cada una obtenida de la siguiente.

En el modo inverso, los valores avanzan hacia la salida y las derivadas vuelven de la salida a la entrada.

Nivel técnico

Si el cálculo es la cadena a = w·x, y = f(a), E = g(y), la regla de la cadena da ∂E/∂w = g′(y) · f′(a) · x.

El modo inverso recorre esa cadena desde el final: calcula ∂E/∂y, la usa para obtener ∂E/∂a y esta para ∂E/∂w. Cada derivada intermedia se calcula una sola vez y sirve para todas las variables anteriores. Con muchas entradas y una sola salida, como el error de una red con millones de pesos, se obtiene el gradiente entero con un coste de unas pocas veces el del cálculo hacia delante.

El modo directo haría falta repetirlo una vez por cada variable. El precio del modo inverso es la memoria: hay que guardar los valores intermedios del recorrido hacia delante.

Lleva a

Bibliografía

Cómo citar

«Diferenciación automática en modo inverso». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/linnainmaa-diferenciacion-inversa

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva