-
Warren McCulloch & Walter Pitts
Crearon un modelo computacional para redes neuronales que generó investigaciones no solo en el cerebro sino también en su aplicación a la inteligencia artificial. El modelo propuesto era constituido por neuronas artificiales, en el que cada una de ellas se caracterizaba por estar <<activa>> o <<desactiva>>; la <<activación>> se daba como respuesta a la estimulación producida por una cantidad suficiente de neuronas vecinas. -
Donald Hebb
Propuso y demostró una regla de actualización para modificar las intensidades de las conexiones entre neuronas. Creó el aprendizaje de Hebbian , en el que se observa desde la perspectiva de la biología, que la sinapsis entre dos neuronas se fortalece si las dos neuronas están simultáneamente activas. -
Primera simulación de una red neuronal
A medida que las computadoras se hicieron más avanzadas en la década de 1950, finalmente fue posible simular una red neuronal. El primer paso hacia esto fue realizado por Nathanial Rochester de los laboratorios de investigación de IBM. Desafortunadamente para él, el primer intento de hacerlo fracasó. -
Marvin Minsky & Dean Edmonds
Construyeron la primera red neuronal artificial que simulaba una rata encontrando su camino a través de un laberinto. Diseñaron el primer neuroordenador (40 neuronas), SNARC (Ordenador de refuerzo analógico estocástico estocástico). utilizaba 3000 válvulas de vacío y un mecanismo de piloto automático obtenido de los desechos de un avión bombero B-24 para simular una red con 40 neuronas. -
Frank Rosenblatt (Perceptron)
Creó el perceptron, un modelo neuronal simple que podría usarse para clasificar los datos en dos conjuntos. Sin embargo, este modelo sufrió en que no pudo clasificar correctamente un OR exclusivo. -
Bernard Widrow y Marcian Hoff
Desarrollaron modelos llamados "ADALINE" y "MADALINE". Los nombres provienen de su uso de elementos ADAptive LINear múltiples. ADALINE fue desarrollado para reconocer patrones binarios de modo que si estuviera leyendo bits de transmisión de una línea telefónica, podría predecir el próximo bit. MADALINE fue la primera red neuronal aplicada a un problema del mundo real, utilizando un filtro adaptativo que elimina los ecos en las líneas telefónicas. -
Widrow & Hoff
Desarrolló un procedimiento de aprendizaje que examina el valor antes de que el peso lo ajuste (es decir, 0 o 1) según la regla: Cambio de peso = (Valor de línea anterior al peso) * (Error / (Número de entradas)) . -
Period: to
Primer invierno
Marvin Minsky y Seymour Papert investigan y publicacion sobre las limitaciones de Perceptrons -
Marvin Minsky y Seymour Papert
Perceptrons (su libro) en un intento de volver a centrarse en los métodos simbólicos para la inteligencia artificial. El resultado fue una disminución de una década en la financiación de investigación conexionista. -
Kohonen y Anderson
Desarrollaron una red similar, independientemente entre sí. Ambos usaron la matriz matemática para describir sus ideas, pero no se dieron cuenta de que lo que estaban haciendo era crear una serie de circuitos analógicos ADALINE. Se supone que las neuronas activan un conjunto de salidas en lugar de solo una. -
Paul Werbos
Creó el algoritmo de propagación inversa, que podría entrenar con éxito perceptrones multicapa e introdujo varias aplicaciones nuevas de redes neuronales multicapa. Esta innovación llevó a un resurgimiento en la investigación de redes neuronales y popularizó aún más el método para resolver problemas reales. -
Reconocimiento de patrones visuales
Kunihiko Fukushima desarrolló un modelo neuronal para el reconocimiento de patrones visuales -
Quinta Generación en las redes neuronales
Hubo una conferencia conjunta Estados Unidos-Japón sobre redes neuronales cooperativas / competitivas. Japón anunció un nuevo esfuerzo de la Quinta Generación en las redes neuronales, y los periódicos de EE. UU. Generaron preocupación de que Estados Unidos podría quedarse atrás en el campo. -
John Hopfield
Su enfoque fue crear máquinas más útiles mediante el uso de líneas bidireccionales. Anteriormente, las conexiones entre las neuronas eran solo de una manera. Utilizaron técnicas de la mecánica estadística para analizar las propiedades de almacenamiento y optimización de las redes, tratando colecciones de nodos como colecciones de átomos. -
Entrenamiento de Redes Neuronales Multicapa
Utilizaron una "red híbrida" con múltiples capas, cada capa utilizando una estrategia diferente de resolución de problemas. -
Rumelhart & McClelland
El algoritmo de aprendizaje de retroalimentación se aplicó a diversos problemas de aprendizaje en los campos de la informatica y la psicología, y la gran difucsión que conocieron los resultados obtenidos, publicados en la colección "Parallel Distributed Processing". -
Redes neuronales convolucionales
Yann LeCun genera una aplicación muy significativa en el mundo real de la retropropagación: Una computadora comprende los dígitos escritos a mano. -
Redes Convolucionales para Imágenes, Voz y Series de Tiempo
Yoshua Bengio y Yann LeCun coescriben la primera de muchas colaboraciones entre ellos -
Period: to
Segundo invierno
El entusiasmo por las redes neuronales se disipó y la comunidad de aprendizaje automático en general una vez más las desautorizó. En el año 2000, re retoman nuevos proyectos, especialmente en el MIT y en Stanford, y en empresas privadas como Microsoft e IBM. -
Productos de capacitación de expertos minimizando la divergencia contrastiva
Hinton ofrece un algoritmo que maximiza algo más que la probabilidad de que las unidades generen los datos de entrenamiento -
Vuelve el interes por el RNA
Hinton, Simon Osindero y Yee-Whye Teh obtienen un algoritmo de aprendizaje rápido que permite entrenar redes neuronales con muchas capas si los pesos se inicializan de una manera inteligente en lugar de al azar -
Método profundos vs Métodos poco profundos
Yoshua Bengio presenta un fuerte argumento de que los métodos profundos de aprendizaje automático son más eficientes para problemas difíciles que los métodos poco profundos -
Aprendizaje profundo no supervisado a gran escala
Compara la potencia en procesamiento de GPU y CPU -
Reconocimiento de voz de Google
Publicación de "Redes neuronales profundas para modelado acústico en reconocimiento de voz”, trabajo compartido de cuatro grupos de investigación -
Google Brain
Dean y Ng forman Google Brain, un esfuerzo por construir redes neuronales gigantes y explorar su potencial, dando como resultado un aprendizaje de red neuronal sin supervisión de 16,000 núcleos de CPU.
