-
Integrantes:
Valeria Katherin Acuña Bermúdez, Alejandro García Puebla, Sabino Hernández Paulino -
Bases de las redes neuronales.
Autores: Warren Sturgis McCulloch y Walter Pitts.
En 1943 se publicó: Un cálculo lógico de las ideas inmanentes en la actividad nerviosa".
El documento sentó las bases de las redes neuronales artificiales e intentó demostrar que un programa para la máquina de Turing, podría implementarse en una red finita de neuronas formales. -
Principios de las Redes Neuronales
Autor: Donald Hebb Fue el primero en explicar los procesos del aprendizaje
(que es el elemento básico de la inteligencia humana) desde un punto de vista psicológico, desarrollando una regla de como el aprendizaje ocurría. Aun hoy, este es el
fundamento de la mayoría de las funciones de aprendizaje que pueden hallarse en una red neuronal. Su idea fue que el aprendizaje ocurría cuando ciertos cambios en una neurona eran activados. -
Organización de la conducta
En el año 1949 el psicólogo Donald Hebb publicó el libro “La organización de la conducta”, donde desarrolló una teoría pionera sobre las bases neurales del aprendizaje. La regla de Hebb plantea que si dos neuronas están activas aproximadamente al mismo tiempo sus conexiones se fortalecen. Esto recalca la importancia de las bases para poder dar paso a la Redes Neuronales Artificiales. -
SNARC - Primera máquina de red neuronal
Creadores: Marvin Minsky y Dean Edmonds.
Descripción: Una neuro-computadora que contenía 40 "neuronas" informáticas que imitaban a una rata que se abría paso por un laberinto.
Esta contenía una memoria básica para comprender y aprender de sus errores del pasado. Con esta estructura, la máquina podría ajustarse con unos pocos motores y tubos de vacío (bulbos). También se conectó al azar, al igual que los pesos en un modelo de red neuronal moderna. -
Congreso de Dartmouth
Este Congreso frecuentemente se menciona para
indicar el nacimiento de la inteligencia artificial. -
Perceptrón
Creador: Frank Rosenblatt
Descripción: Cuenta con varias entradas binarias (Xn) y produce una salida binaria (Y).
La salida será 1 o 0 si la suma de la multiplicación de los pesos por entradas es mayor o menos a un determinado umbral.
Sus principales usos son decisiones binarias sencillas, o para crear funciones lógicas como OR, AND. -
“ADALINE” y “MADALINE”
Autores:Bernard Widrow y Marcian Hoff
ADALINE, fue desarrollado para reconocer patrones binarios, de tal modo que, si por ejemplo estuviera leyendo bits de trasmisión de una línea telefónica.MADALINE fue la primera red neuronal aplicada a un problema del mundo real, usando un filtro adaptativo que elimina los ecos de las líneas telefónicas. Estos sistemas, a pesar de ser tan antiguos como los sistemas de control de trafico aéreo, aún se encuentran uso comercial. -
Perceptrón multicapa (multilayer perceptron)
Descripción: El perceptrón multicapa es una red neuronal artificial (ARN) formada por múltiples capas, de tal modo que tiene capacidad para solucionar inconvenientes que no son linealmente separables. A diferencia del perceptrón simple, este usa más de una neurona.
Aparece el concepto de capas de entrada, oculta y salida. -
Red Avalancha
Grossberg realizó en 1967 una red, Avalancha, que consistía en elementos discretos con actividad que varía con el tiempo que satisface ecuaciones diferenciales continuas, para resolver actividades tales como reconocimiento continuo del habla y aprendizaje del movimiento de los brazos de un robot. -
Muerte de las Redes Neuronales
Autores: Marvin Minsky/Seymour Papert
En este año casi se produjo la “muerte
abrupta” de las Redes Neuronales; ya que Minsky y Papert probaron (matemáticamente) que el Perceptron no era capaz de resolver problemas relativamente fáciles, tales como el aprendizaje de una función no-lineal. Esto demostró que el Perceptron era muy débil,
dado que las funciones no-lineales son extensamente empleadas en computación y en los problemas del mundo real. -
Asociador lineal
Creador: James Anderson.
Descripción: Consistía en unos elementos integradores lineales (neuronal) que sumaban sus entradas. Este modelo se basa en el principio de que las conexiones entre neuronas son reforzadas cada vez que están activadas. -
Teoria de Resonancia Adaptativa (TRA)
La Teoría de Resonancia Adaptativa (TRA).Es un modelo de red neuronal artificial (RNA) que basa su funcionamiento en la manera en que el cerebro procesa información y que describe una serie de modelos de redes neuronales que utilizando métodos de aprendizaje supervisado y no supervisado abordan problemas tales como el reconocimiento y la predicción de patrones. -
Neuronas Sigmoides
Son similares al perceptrón, pero permiten que las entradas, en vez de ser ceros o unos, puedan tener valores reales. También aparecen las neuronas “bias” que siempre suman 1 en las diversas capas para resolver ciertas situaciones
Ahora las salidas en vez de ser 0 ó 1, será d(w . x + b) donde d será la función sigmoide definida como d(z) = 1/( 1 +e-z). Esta es la primer función de activación. -
Redes Feedforward
Se les llama así a las redes en que las salidas de una capa son utilizadas como entradas en la próxima capa. Esto quiere decir que no hay loops “hacia atrás”. Siempre se “alimenta” de valores hacia adelante. -
Mapas auto-organizados
En 1982 T. Kohonen presentó un modelo de red denominado mapas auto-organizados o SOM (Self-Organizing Maps), basado en ciertas evidencias descubiertas a nivel cerebral. Este tipo de red posee un aprendizaje no supervisado competitivo. La red auto-organizada debe descubrir rasgos comunes, regularidades, correlaciones o categorías en los datos de entrada, e incorporarlos a su estructura interna de conexiones. -
Renacimiento de las Redes Neuronales
Autor: John Hopfield. Provocó el renacimiento de las redes neuronales con su libro: “Computación neuronal de decisiones en problemas de optimización.” -
Retropropagación (Backpropagation)
Gracias al algoritmo de backpropagation se hizo posible entrenar redes neuronales de múltiples capas de manera supervisada. Al calcular el error obtenido en la salida e ir propagando hacia las capas anteriores se van haciendo ajustes pequeños (minimizando costo) en cada iteración para lograr que la red aprenda consiguiendo que la red pueda -por ejemplo- clasificar las entradas correctamente. -
Redes neuronales convolucionales
Creador: Yann LeCun
son redes multicapa que toman su inspiración del cortex visual de los animales. Esta arquitectura es útil en varias aplicaciones, principalmente procesamiento de imágenes.
La arquitectura constaba de varias capas que implementaban la extracción de características y luego clasificar. -
Long Short Term Memory - Redes LSTM
- Esta arquitectura permite conexiones “hacia atrás” entre las capas. Esto las hace buenas para procesar datos históricos.
- Celdas de memoria que permiten a la red recordar valores por períodos cortos o largos.
-
Aprendizaje Profundo
Autores: Geoffrey Hinton y Ruslan Salakhutdinov
El término “Aprendizaje Profundo” comienza a ganar popularidad, principalmente en un artículo en el cual muestran como una red neuronal de varias capas podía ser pre entrenada con una capa a la vez. -
Red de creencia profunda (Deep Belief Network, DBN)
A diferencia de las redes anteriores, esta utiliza una asignación de pesos inteligente mediante un preentrenamiento de las capas de la red de manera no supervisada.
Comienzo del Deep Learning. -
NIPS (Neural Information Processing Systems)
Workshop sobre Aprendizaje Profundo para reconocimiento de voz, y se descubre que con un conjunto de datos suficientemente grande, las redes neuronales no necesitan de un pre entrenamiento y los valores relativos al error caen significativamente. -
Google
Algoritmos de reconocimiento de patrones artificiales alcanzan un desempeño de nivel humano en determinadas tareas. El algoritmo de aprendizaje profundo de Google, es capaz de identificar gatos.
Google compra la Startup de Inteligencia Artificial “DeepMind” de Reino Unido -
Redes Generativas Antagónicas (Generative Adversarial Networks, GAN)
La idea detrás de GAN es la de tener dos modelos de redes neuronales compitiendo en simultáneo. La red de Generación y la red de Discriminación. A medida que la máquina aprende, comienza a crear muestras que son indistinguibles de los datos reales. -
Algoritmos de Google
El algoritmo de Google DeepMind, AlphaGo, mapea el arte del complejo juego de tablero Go y vence al campeón mundial de Go, Lee Sedol, en un torneo altamente divulgado en Seúl, capital de Corea del Sur. -
Deep Learning como principal tecnologia
Adopción en masa del aprendizaje profundo en diversas aplicaciones así como también en investigaciones científicas y académicas. Todos los eventos de tecnología ligados al Data Science, IA y Big Data, apuntan al aprendizaje profundo (Deep Learning) como la principal tecnología para la creación de sistemas inteligentes.
