Aproximación estocástica
Etapa 2 · Nace la IA (1943–1979) › Redes neuronales y aprendizaje
- Linaje
- Datos y aprendizaje
- Tipo
- Publicación
Quién
Universidad de Carolina del Norte
Qué ocurrió
Los estadísticos Herbert Robbins y Sutton Monro publican en The Annals of Mathematical Statistics «A Stochastic Approximation Method», un método para encontrar un valor desconocido a partir de mediciones con ruido.
Qué aportó
Demuestra que se puede llegar a la solución corrigiendo una estimación paso a paso con observaciones ruidosas, con pasos cada vez más pequeños. Aplicado al gradiente de una función de error, es el descenso de gradiente estocástico.
Desarrollo
Muchos problemas de estadística e ingeniería piden encontrar el valor en el que una función alcanza cierto nivel, cuando esa función no se puede calcular y solo se puede medir con error.
Robbins y Monro propusieron un procedimiento recursivo. Se parte de una estimación, se hace una medición, se corrige la estimación en proporción a la diferencia entre lo medido y lo buscado, y se repite. La clave está en el tamaño de los pasos: tienen que hacerse cada vez más pequeños, pero no tan deprisa que el procedimiento se detenga antes de llegar. Con esa condición, demostraron que la estimación converge al valor buscado aunque cada medición sea ruidosa.
Al año siguiente, Jack Kiefer y Jacob Wolfowitz adaptaron la idea para buscar el máximo de una función, estimando su pendiente con diferencias entre mediciones.
Cuando lo que se corrige son los parámetros de un modelo y la medición es el gradiente de su error en un solo ejemplo, el método de Robbins y Monro es el descenso de gradiente estocástico. Amari lo aplicó en 1967 a todas las capas de una red, y es el procedimiento con el que se entrenan hoy casi todas las redes neuronales.
Lleva a
Red multicapa con descenso de gradiente estocástico (junio de 1967)
Herencia sin relación directa demostrada
El descenso de gradiente estocástico es el método de Robbins y Monro aplicado al gradiente de una función de error; Amari lo usa para entrenar todas las capas
Bibliografía
Fuente original
- A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), pp. 400-407 (se abre en una pestaña nueva). Herbert Robbins y Sutton Monro, 1951
Cómo citar
«Aproximación estocástica». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/robbins-monro-aproximacion-estocastica
Última revisión de esta ficha: 13 de noviembre de 2026.