LSTM
Etapa 3 · Del auge experto al giro estadístico (1980–2011) › Redes neuronales
- Linaje
- Neuronas y redes
- Tipo
- Publicación
Quién
Universidad Técnica de Múnich, IDSIA
Qué ocurrió
Sepp Hochreiter y Jürgen Schmidhuber publican «Long Short-Term Memory» en Neural Computation. Habían presentado la idea en un informe técnico de 1995 y en el congreso NIPS de 1996.
Qué aportó
Una red recurrente con una celda de memoria y puertas que deciden qué entra, qué se conserva y qué sale. Supera el problema del gradiente que se desvanece y recuerda información durante más de mil pasos.
Desarrollo
Las redes recurrentes procesan secuencias, como frases o señales de audio, manteniendo un estado que pasa de un paso al siguiente. En teoría pueden recordar lo que vieron mucho antes, pero en la práctica no lo aprendían. Hochreiter, en su tesis de diplomatura de 1991 dirigida por Schmidhuber, analizó por qué: al retropropagar el error a través de muchos pasos, el gradiente se multiplica una y otra vez y se desvanece o explota.
La LSTM resuelve el problema con una celda de memoria por la que el error puede fluir sin atenuarse, lo que los autores llamaron el carrusel de error constante. Unas puertas, pequeñas redes que aprenden cuándo abrirse, controlan qué información entra en la celda y cuándo sale. En 1999 Felix Gers, Schmidhuber y Fred Cummins añadieron la puerta de olvido, que permite a la celda vaciarse, y esa es la versión que se generalizó.
Durante años la LSTM fue una técnica de nicho. A partir de 2015 se convirtió en la base del reconocimiento de voz de Google, de su traductor neuronal de 2016, que según la empresa redujo los errores de traducción en un 60 %, y de los asistentes de voz de Apple.
Fue la arquitectura dominante para secuencias hasta que el Transformer, a partir de 2017, la sustituyó en la mayoría de las tareas de lenguaje.
Una celda rectangular atravesada arriba por una línea horizontal, la memoria, que entra por la izquierda y sale por la derecha. La entrada llega por abajo a tres puertas: la de olvido multiplica la memoria, la de entrada le suma información nueva y la de salida toma la memoria y produce la salida de la celda.
Nivel técnico
En la versión que se generalizó, con la puerta de olvido de 1999, cada paso calcula tres puertas con valores entre 0 y 1: olvido f, entrada i y salida o, todas a partir de la entrada actual xₜ y de la salida anterior hₜ₋₁. La memoria se actualiza con cₜ = f ⊙ cₜ₋₁ + i ⊙ g, donde g es el contenido nuevo propuesto y ⊙ el producto elemento a elemento, y la salida es hₜ = o ⊙ tanh(cₜ).
La memoria pasa de un paso al siguiente por una suma, no multiplicada por una matriz de pesos. En una red recurrente simple, al retropropagar el error el gradiente se multiplica en cada paso por la misma matriz y tiende a cero o se dispara. En la LSTM, mientras la puerta de olvido esté cerca de 1, el gradiente atraviesa la celda casi intacto: es el carrusel de error constante. En el artículo de 1997 no había puerta de olvido, y la memoria se conservaba siempre.
Bibliografía
Fuente original
- Long Short-Term Memory. Neural Computation, 9(8), pp. 1735-1780 (se abre en una pestaña nueva). Sepp Hochreiter y Jürgen Schmidhuber, 1997
Estudios y contexto
- Annotated History of Modern AI and Deep Learning (arXiv:2212.11279) (se abre en una pestaña nueva). Jürgen Schmidhuber, 2022
Cómo citar
«LSTM». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/lstm
Última revisión de esta ficha: 13 de noviembre de 2026.