La historia de la IA

Red multicapa con descenso de gradiente estocástico

Etapa 2 · Nace la IA (1943–1979) › Redes neuronales y aprendizaje

Linaje
Neuronas y redes
Tipo
Implementación

Quién

Qué ocurrió

Shun'ichi Amari publica en las IEEE Transactions on Electronic Computers «A Theory of Adaptive Pattern Classifiers», donde propone entrenar todas las capas de un clasificador a la vez por descenso de gradiente estocástico.

Qué aportó

Según la historia del aprendizaje profundo de Schmidhuber, es la primera red multicapa entrenada de principio a fin con descenso de gradiente estocástico. Con su alumno Saito entrena una red de cinco capas que aprende representaciones internas.

Desarrollo

Los métodos de Rosenblatt y de Widrow ajustaban una sola capa. Amari, matemático japonés, planteó el problema de forma general: un clasificador con varias capas de unidades y una función de pérdida que mide sus errores. Si las unidades tienen una salida suave en lugar de un umbral brusco, la pérdida es diferenciable respecto a todos los pesos, y se puede reducir moviendo cada uno en la dirección de su gradiente.

En lugar de calcular el gradiente con todos los ejemplos a la vez, Amari actualizaba los pesos después de cada ejemplo, con un paso pequeño. Es el descenso de gradiente estocástico, que Robbins y Monro habían propuesto en 1951 como método de aproximación con observaciones ruidosas y que Amari llevó a todas las capas de una red. Es el procedimiento con el que se entrenan hoy casi todas las redes neuronales, y el artículo analiza cuándo converge.

Con su alumno Saito llevó la idea a la práctica: una red de cinco capas, dos de ellas ajustables, aprendió a clasificar patrones que no se pueden separar con una línea recta, lo que obliga a que las capas internas construyan sus propias representaciones. Era justo lo que el perceptrón de una capa no podía hacer.

El trabajo se publicó en una revista de ingeniería y en un momento poco propicio, poco antes del libro de Minsky y Papert. Amari siguió en otros campos, como la geometría de la información, y su contribución al aprendizaje profundo se reconoció mucho después.

Vídeos

Viene de

  • Aproximación estocástica (septiembre de 1951)

    Herencia sin relación directa demostrada

    El descenso de gradiente estocástico es el método de Robbins y Monro aplicado al gradiente de una función de error; Amari lo usa para entrenar todas las capas

Bibliografía

Cómo citar

«Red multicapa con descenso de gradiente estocástico». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/amari-descenso-estocastico

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva