La historia de la IA

Aproximación estocástica

Etapa 2 · Nace la IA (1943–1979) › Redes neuronales y aprendizaje

Linaje
Datos y aprendizaje
Tipo
Publicación

Quién

Universidad de Carolina del Norte

Qué ocurrió

Los estadísticos Herbert Robbins y Sutton Monro publican en The Annals of Mathematical Statistics «A Stochastic Approximation Method», un método para encontrar un valor desconocido a partir de mediciones con ruido.

Qué aportó

Demuestra que se puede llegar a la solución corrigiendo una estimación paso a paso con observaciones ruidosas, con pasos cada vez más pequeños. Aplicado al gradiente de una función de error, es el descenso de gradiente estocástico.

Desarrollo

Muchos problemas de estadística e ingeniería piden encontrar el valor en el que una función alcanza cierto nivel, cuando esa función no se puede calcular y solo se puede medir con error.

Robbins y Monro propusieron un procedimiento recursivo. Se parte de una estimación, se hace una medición, se corrige la estimación en proporción a la diferencia entre lo medido y lo buscado, y se repite. La clave está en el tamaño de los pasos: tienen que hacerse cada vez más pequeños, pero no tan deprisa que el procedimiento se detenga antes de llegar. Con esa condición, demostraron que la estimación converge al valor buscado aunque cada medición sea ruidosa.

Al año siguiente, Jack Kiefer y Jacob Wolfowitz adaptaron la idea para buscar el máximo de una función, estimando su pendiente con diferencias entre mediciones.

Cuando lo que se corrige son los parámetros de un modelo y la medición es el gradiente de su error en un solo ejemplo, el método de Robbins y Monro es el descenso de gradiente estocástico. Amari lo aplicó en 1967 a todas las capas de una red, y es el procedimiento con el que se entrenan hoy casi todas las redes neuronales.

Lleva a

  • Red multicapa con descenso de gradiente estocástico (junio de 1967)

    Herencia sin relación directa demostrada

    El descenso de gradiente estocástico es el método de Robbins y Monro aplicado al gradiente de una función de error; Amari lo usa para entrenar todas las capas

Bibliografía

Cómo citar

«Aproximación estocástica». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/robbins-monro-aproximacion-estocastica

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva