Redes

Neuronales
Artificiales

Dr. Juan José Flores Romero

División de Estudios de Posgrado
Facultad de Ingeniería Eléctrica
juanf@zeus.umich.mx
http://lsc.fie.umich.mx/~juan/
Curso Redes Neuronales Artificiales

CONTENIDO

 Introducción
 Aprendizaje
 Perceptrones mono-nivel
 Perceptrones multi-nivel
 Otras Arquitecturas

Redes Neuronales 2
Redes Neuronales Artificiales

1.- INTRODUCCION

Inteligencia Artificial

Redes Neuronales 3
Cerebro Humano

 1011 Neuronas
(procesadores)
 Poder
desconocido
 1000 – 10000
conecciones por
neurona

Redes Neuronales 4
Neuronas

Redes Neuronales 5
Neuronas Artificiales

 Súper-simplificación
 Analogía Metafórica
 Sorprendente poder de cómputo

Redes Neuronales 6
A Very Brief History
 William James (1890): Describe (en palabras y figuras) redes
distribuídas simples y el aprendizaje de Hebbian.
 McCulloch & Pitts (1943): Unidades binarias con barrera de activación
que realizan operaciones lógicas (prueban computación universal!).
 Hebb (1949): Formulación de una regla fisiologica (local) de
aprendizaje.
 Rosenblatt (1958): El Perceptrón—la primera máquina real que
aprende.
 Widrow & Hoff (1960): ADALINE y la regla Widrow-Hoff de aprendizaje
supervisado.
 Minsky & Papert (1969): Las limitaciones del perceptrón—el “Invierno
Neuronal”
 v.d.Malsburg (1973): Mapas Auto-organizables.
 Grossberg (1980): Theoría de la Resonancia Adaptiva.
 Hopfield (1982/84): Redes de Atractores. Teoría de patrones de
asociación y memoria.
 Kohonen (1982): Mapas Auto-organizables.
 Rumelhart, Hinton, & Williams (1986): Backpropagation

Redes Neuronales 7
Características de RNAs
 El estilo de procesamiento es mas bien como el de
procesamiento de señales, no simbólico. La combinación de
señales para producir nuevas señales contrasta con la ejecución
de instrucciones almacenadas en memoria
 La información se almacena en un conjunto de pesos, no en un
programa. Los pesos se deben adaptar cuando le mostramos
ejemplos a la red.
 Las redes son tolerantes a ruido: pequeños cambios en la
entrada no afecta drásticamente la salida de la red.
 Los conceptos se ven como patrones de actividad a lo largo de
casi toda la red y no como el contenido de pequeños grupos de
celdas de memoria.
 La red puede generalizar el conjunto de entrenamiento y así
tratar con ejemplos no conocidos.
 RNA son buenas para tareas perceptuales y asociaciones.
Justamente con lo que se topa la computación tradicional.

Redes Neuronales 8
Arquitecturas de RNAs
 Perceptrones de un
solo nivel

Redes Neuronales 9
Arquitecturas de RNAs
 Perceptrones de varios niveles

Redes Neuronales 10
Arquitecturas de RNAs
 Redes Recurrentes

Redes Neuronales 11
Representación de Conocimiento
 Conocimiento = Información Almacenada
+ Modelos
 Tarea = Aprender un “Modelo del Mundo”
 Conocimiento:
 Del mundo (información a priori)
 Observaciones (ejemplos)
 Ejemplos:
 Etiquetados (respuesta deseada)
 Sin etiqueta
 Ejemplos (+ y -):
 Entrenamiento (Training Set)
 Validación (Validation Set)
 Prueba (Test Set)

Redes Neuronales 12
Diseño de una RNA

 Dado un conj. de Ejemplos

 Seleccionar una arquitectura adecuada:
 Tipo de conexión
 # neuronas/capa
 Entrenar con TS
 Validar con VS
 Probar con TS

Redes Neuronales 13
IA y RNAs

 IA -> desarrollar máquinas que realizan

tareas cognitivas para las cuales los
humanos son aptos.
Representación

IA
Aprendizaje

Razonamiento

Redes Neuronales 14
Modelo de una Neurona

Redes Neuronales 15
Bias (Sesgo)

Redes Neuronales 16
Funciones de Activación

Redes Neuronales 17
RNAs como Gráficos Dirigidos

Redes Neuronales 18
Problema 1.

Redes Neuronales 19
Problema 2.

Redes Neuronales 20
Problema 3.

Redes Neuronales 21
Problema 4.

Redes Neuronales 22
Problema 5.

Redes Neuronales 23