Redes neuronales

William Caicedo Torres

 Redes neuronales artificiales
• Simplificación del funcionamiento del sistema nervioso.
• Modelo computacional Turing - equivalente.
• Conocido como el enfoque “conexionista” de la
inteligencia artificial.
• Capacidad de “aprender” de la experiencia.
• Muchas aplicaciones en la ingeniería:
– Predicción.
– Aproximación.
– Reconocimiento de patrones.
 Neurona biológica

Estructura de una neurona. Fuente: "Anatomy and Physiology" por el programa de vigilancia, epidemiología
y medición del instituto nacional del cáncer, Estados Unidos de América
 Neurona artificial
• Modelo McCulloch-Pitts (1943)
 Neurona Artificial
• El conocimiento se almacena en los pesos
asociados a las sinapsis de la neurona.
• La salida de la neurona depende de una
función de activación o transferencia.
• La neurona producirá una salida si la suma
ponderada de las entradas supera un umbral
establecido.
 Modelos neuronales
• Arreglos de neuronas interconectadas.
• Se producen comportamientos emergentes.
• Bajo los algoritmos adecuados son capaces de
aprender.

Representación de una red neuronal de 2 capas.

Tomado de http://en.wikibooks.org/wiki/Artificial_Neural_Networks/Print_Version
Modelos neuronales - Aprendizaje
• Supervisado.
– Se usan ejemplos de comportamiento correcto.
• No supervisado.
– No se usan ejemplos de comportamiento correcto.
La red “aprende” por si sola.
• Refuerzo.
– La red “memoriza” por la presentación repetida de
datos.
 Modelos neuronales - Hitos

• Perceptron (Frank Rosenblatt - 1958)

– Basado en la neurona McCulloch – Pitts
– Aprendizaje supervisado. Regla del perceptron
– Resuelve problemas de clasificación linealmente
separables.
– Función de transferencia Hard Limit
– Regla de entrenamiento:

Estructura de un Perceptron. Derivado de http://es.wikipedia.org/wiki/Perceptrón

 Modelos neuronales - Hitos
Perceptron

Estructura de ADALINE. Derivado de http://es.wikipedia.org/wiki/Perceptrón

 Modelos neuronales - Hitos
• ADALINE (Bernard Widrow, Marcian Hoff -
1960)
– ADAptive LINear Element.
– Entrenamiento supervisado. Delta Rule. Más robusto que
el Perceptron.
– Resuelve problemas linealmente separables.
– Función de transferencia lineal.
– Regla de entrenamiento:
 Modelos neuronales - Hitos
• ADALINE

Estructura de ADALINE. Derivado de http://es.wikipedia.org/wiki/Perceptrón

 Modelos neuronales - Hitos
• Problemas linealmente separables (Minsky;
Papert - 1969).

Problema linealmente separable. Tomado de http://www.ece.utep.edu/research/webfuzzy/docs/kk-thesis/kk-thesis-html/node19.html

 Modelos neuronales - Hitos
• Multilayer Perceptron (Rumelhart, Hinton,
Williams, Parker, Le Cun - 1985) .
• Aprendizaje supervisado. Algoritmo
Backpropagation (Werbos - 1974).
• Funciones de transferencia logística, lineal,
tangente hiperbólica, gaussiana, entre otras.
• Aplicacion exitosa en multitud de áreas.
 Modelos neuronales - Hitos
• Multilayer Perceptron

Red Neuronal Feedforward Multicapa. Tomado de http://en.wikibooks.org/wiki/Artificial_Neural_Networks/Print_Version.

 Modelos neuronales - Hitos
• Multilayer Perceptron – Aprendizaje:
Redes neuronales - separabilidad
 Modelos neuronales - Hitos
• Redes competitivas: Básica, SOM, Malsburg,
Adaptive Resonance Theory-ART(Kohonen,
Von der Malsburg, Grossberg – 1970 ~).
• Aprendizaje no supervisado. Auto-
organización.
• Competición entre neuronas.
 Modelos neuronales - Hitos
• Redes competitivas

Red competitiva. Derivado de http://es.wikipedia.org/wiki/Perceptrón

 Modelos neuronales - Hitos
• Adaptive Resonance Theory (ART)
– Grossberg, Carpenter (1986)
– Inspirada en la visión de los mamíferos
• Featural filling-in
• Contrast enhancement
– Resuelve el dilema estabilidad – plasticidad
• Match
– ART1, ART2, FuzzyART, ARTMAP
 Modelos neuronales - Hitos
• ART1
 Actualidad del campo
• Metaheurísticas
• Hibridización