El invierno de las redes
Cómo las redes neuronales sobrevivieron veinte años en segundo plano, de la física de Hopfield a las GPU, y por qué volvieron con AlexNet.
Red de Hopfield (abril de 1982)
Hopfield, físico, presenta una red que guarda patrones como mínimos de energía y los recupera a partir de un fragmento. Atrae a muchos físicos hacia las redes neuronales.
Máquina de Boltzmann (enero de 1985)
Hinton y sus colegas toman la red de Hopfield como base y le añaden unidades ocultas y decisiones al azar. La máquina de Boltzmann aprende representaciones internas.
Retropropagación de Rumelhart, Hinton y Williams (octubre de 1986)
Mientras tanto, Rumelhart, Hinton y Williams popularizan la retropropagación, el método que entrena redes con capas ocultas corrigiendo el error hacia atrás.
Red convolucional de LeCun (1989)
LeCun entrena con retropropagación una red convolucional que lee los códigos postales manuscritos de cartas reales.
LeNet-5 y MNIST (1998)
Diez años después, el mismo grupo presenta LeNet-5 y la base de datos MNIST. Su sistema lee cheques de forma comercial.
Redes de creencia profundas (julio de 2006)
Con las redes en segundo plano, Hinton apila máquinas de Boltzmann restringidas y las entrena capa a capa. Por primera vez, una red profunda se entrena de forma convincente.
CUDA (15 de febrero de 2007)
Mientras tanto, Nvidia publica CUDA y las tarjetas gráficas se pueden programar para cálculo general.
Redes profundas entrenadas en GPU (junio de 2009)
Raina, Madhavan y Ng llevan las redes de creencia profundas a la GPU con CUDA. Entrenarlas pasa de semanas a un día.
ImageNet (junio de 2009)
Mientras tanto, Fei-Fei Li y sus colaboradores reúnen ImageNet, millones de imágenes etiquetadas a mano.
DanNet (2011)
En IDSIA, una red convolucional del tipo de LeNet, más profunda y entrenada en GPU, supera a las personas en un concurso de señales de tráfico.
AlexNet (30 de septiembre de 2012)
AlexNet se entrena en dos GPU con CUDA sobre ImageNet y gana el concurso de 2012 con mucha ventaja. Las redes vuelven al centro del campo.