-
Alan Turing
Propone que el mundo de la computación puede tener un gran desarrollo si se compara con el cerebro humano -
Period: to
Primera Generación
Se suele dividir en 3 etapas, del 40 al 70 en donde se pasó del asombro de estos nuevos modelos hasta el escepticismo -
Donald Helbb
Establece el concepto de aprendizaje; Este principio (o Ley de Hebb), en ciencia cognitiva, se denomina la “Regla de Hebb” y provee el algoritmo básico de aprendizaje mediante redes neuronales artificiales. -
Karl Lashley
Neurólogo y psicólogo estadounidense. Para estudiar los fenómenos de aprendizaje y la discriminación sensorial llevó a cabo diversos experimentos con ratas, que le condujeron a afirmar que lo que interesa en la aparición de los trastornos funcionales es el tamaño de la lesión y no su localización. Demostró que la información no es almacenada de forma centralizada sino distribuida. -
Conferencia de Dartmouth
Propusieron reunirse ese verano a un grupo de investigadores que quisieran trabajar sobre la conjetura de que cada aspecto del aprendizaje y cada característica de la inteligencia podían ser tan precisamente descritos que se podían crear máquinas que las simularan. -
ADAptative LINear Element
El adaline (de ADAptative LINear Element) es un tipo de red neuronal artificial desarrollada por el profesor Bernard Widrow y su alumno Ted Hoff en la Universidad de Stanford en 1960. -
Karl Steinbeck
Red neuronal para simples realizaciones técnicas (memoria asociativa). -
Marvin Minsky/Seymour Papert
Probaron (matemáticamente) que el Perceptrons no era capaz de resolver problemas relativamente fáciles, tales como el aprendizaje de una función no-lineal. -
Paul Werbos
Desarrolló la idea básica del algoritmo de aprendizaje de propagación hacia atrás (Retropropagación); cuyo significado quedó definitivamente aclarado en 1985. -
Stephen Grossberg
La Teoría de Resonancia Adaptada es una arquitectura de red que se diferencia de todas las demás previamente inventadas. La misma simula otras habilidades del cerebro: memoria a largo y corto plazo. -
Period: to
Segunda Generación
Surgen mejoras en mecanismos y maneras de entrenar las redes (backpropagation) y se alcanza una meseta en la que no se puede alcanzar la “profundidad” de aprendizaje seguramente también por falta de poder de cómputo. -
John Hopfield
Provoco el renacimiento de las redes neuronales con su libro: “Computación neuronal de decisiones en problemas de optimización.” -
David Rumelhart/G.
Redescubrieron el algoritmo de aprendizaje de propagación hacia atrás (Retropropagación). -
Convolutional Neural Network
Las Convolutional Neural Networks son redes multilayered que toman su inspiración del cortex visual de los animales. Esta arquitectura es útil en varias aplicaciones, principalmente procesamiento de imágenes. La primera CNN fue creada por Yann LeCun y estaba enfocada en el reconocimiento de letras manuscritas. -
Long Short Term Memory / Recurrent Neural Network
Esta arquitectura permite conexiones “hacia atrás” entre las capas. Esto las hace buenas para procesar datos de tipo “time series” (datos históricos). En 1997 se crearon las LSTM que consisten en unas celdas de memoria que permiten a la red recordar valores por períodos cortos o largos. -
Deep Belief Networks (DBN)
Con la creación de una DBN que logro obtener un mejor resultado en el MNIST, se devolvió el entusiasmo en poder lograr el aprendizaje profundo en redes neuronales. Hoy en día las DBN no se utilizan demasiado, pero fueron un gran hito en la historia en el desarrollo del deep learning y permitieron seguir la exploración para mejorar las redes existentes -
Period: to
Tercera Generación
aprovechando el poder de las GPU y nuevas ideas se logra entrenar cientos de capas jerárquicas que conforman y potencian el Deep Learning y dan una capacidad casi ilimitada a estas redes -
Generative Adversarial Networks (GAN)
La idea detrás de GAN es la de tener dos modelos de redes neuronales compitiendo. Uno, llamado Generador, toma inicialmente “datos basura” como entrada y genera muestras. El otro modelo, llamado Discriminador, recibe a la vez muestras del Generador y del conjunto de entrenamiento (real) y deberá ser capaz de diferenciar entre las dos fuentes.