Red multicapa con descenso de gradiente estocástico
Etapa 2 · Nace la IA (1943–1979) › Redes neuronales y aprendizaje
- Linaje
- Neuronas y redes
- Tipo
- Implementación
Quién
Qué ocurrió
Shun'ichi Amari publica en las IEEE Transactions on Electronic Computers «A Theory of Adaptive Pattern Classifiers», donde propone entrenar todas las capas de un clasificador a la vez por descenso de gradiente estocástico.
Qué aportó
Según la historia del aprendizaje profundo de Schmidhuber, es la primera red multicapa entrenada de principio a fin con descenso de gradiente estocástico. Con su alumno Saito entrena una red de cinco capas que aprende representaciones internas.
Desarrollo
Los métodos de Rosenblatt y de Widrow ajustaban una sola capa. Amari, matemático japonés, planteó el problema de forma general: un clasificador con varias capas de unidades y una función de pérdida que mide sus errores. Si las unidades tienen una salida suave en lugar de un umbral brusco, la pérdida es diferenciable respecto a todos los pesos, y se puede reducir moviendo cada uno en la dirección de su gradiente.
En lugar de calcular el gradiente con todos los ejemplos a la vez, Amari actualizaba los pesos después de cada ejemplo, con un paso pequeño. Es el descenso de gradiente estocástico, que Robbins y Monro habían propuesto en 1951 como método de aproximación con observaciones ruidosas y que Amari llevó a todas las capas de una red. Es el procedimiento con el que se entrenan hoy casi todas las redes neuronales, y el artículo analiza cuándo converge.
Con su alumno Saito llevó la idea a la práctica: una red de cinco capas, dos de ellas ajustables, aprendió a clasificar patrones que no se pueden separar con una línea recta, lo que obliga a que las capas internas construyan sus propias representaciones. Era justo lo que el perceptrón de una capa no podía hacer.
El trabajo se publicó en una revista de ingeniería y en un momento poco propicio, poco antes del libro de Minsky y Papert. Amari siguió en otros campos, como la geometría de la información, y su contribución al aprendizaje profundo se reconoció mucho después.
Vídeos
- Shun-ichi Amari (se abre en una pestaña nueva) (International Neural Network Society (INNS) · en inglés)
Viene de
Aproximación estocástica (septiembre de 1951)
Herencia sin relación directa demostrada
El descenso de gradiente estocástico es el método de Robbins y Monro aplicado al gradiente de una función de error; Amari lo usa para entrenar todas las capas
Bibliografía
Fuente original
- A Theory of Adaptive Pattern Classifiers. IEEE Transactions on Electronic Computers, EC-16(3), pp. 299-307 (se abre en una pestaña nueva). Shun'ichi Amari, 1967
- A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), pp. 400-407 (se abre en una pestaña nueva). Herbert Robbins y Sutton Monro, 1951
Estudios y contexto
- Annotated History of Modern AI and Deep Learning (arXiv:2212.11279) (se abre en una pestaña nueva). Jürgen Schmidhuber, 2022
Cómo citar
«Red multicapa con descenso de gradiente estocástico». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/amari-descenso-estocastico
Última revisión de esta ficha: 13 de noviembre de 2026.