Rede Neuronales Artificiales

Perceptron Multinivel MLP

Profesor:
Eduardo Caicedo Bravo Ph.D.
ecaicedo@univalle.edu.co
Contenido
Introduccin
Arquitectura
Notacin
Algoritmo de Entrenamiento
Consideraciones Prcticas
Introduccin
Limitaciones del Perceptron de Rosenblatt
Perceptrons [Misky y Papert]
Solucin de Ronsenblatt: Incluir una capa de neuronas
entre las capas de entrada y salida
Pero cul fue la mayor dificultad para poner en
prctica la nueva propuesta?
cmo calcular el error de la capa intermedia para
modificar los pesos sinpticos de esta nueva capa,
que llamaremos capa oculta?
Al mediados de la dcada de los setenta, Paul
Werbos en su tesis doctoral propone el Algoritmo
Backpropagation, que permite entrenar al
perceptron multicapa y posibilita su aplicacin en la
solucin de una gran variedad de problemas de alta
complejidad
Arquitectura Propuesta
1 k M
1 j L
1 i N
x
p1
x
pi
x
pN
o
p1
o
pk
o
pM

1
Principio de Funcionamiento
1 k M
1 j L
1 i N
x
p1
x
pi
x
pN
o
p1
o
pk
o
pM

1
1. Red aprende un conjunto de aprendizaje
x=[x
1
x
2
. x
P
]
y=[y
1
y
2
. y
P
]
2. Si se aplica un estmulo x
1
se propaga una
seal PARALELA hacia las capas superiores
3. La seal de salida se compara con una salida
deseada y se calcula un error para cada salida
4. Las seales de error se transmiten hacia atrs
partiendo desde la salida hacia capas
intermedias
5. Este proceso hacia atrs se repite capa por
capa hasta que todos los nodos de la red hayan
recibido una seal de error que describa su
contribucin relativa al error total
6. Con base en la seal de error percibida se
actualizan los pesos de conexin de cada unidad
7. Despus del entrenamiento:
Generalizacin
Inhibicin ante tramas desconocidas
Aprendizaje: Regla Delta
Generalizada
1 k M
1 j L
1 i N
x
p1
x
pi
x
pN
o
p1
o
pk
o
pM

1
Conformada por capas con propagacin hacia
delante
Red interconectada totalmente entre capas
Relacin funcional Entrada - Salida
y = (x)
x
p
Patrn o vector de entrada
x
pi
Entrada i-sima del vector de entrada x
p
N Nmero de neuronas de la capa de entrada
Dimensin del vector de entrada
P Nmero de vectores de entradas diferentes
P ejemplos de parejas [x,y]
L Nmero de neuronas de la capa oculta h
M Nmero de neuronas de la capa de salida
Dimensin del vector de salida
Aprendizaje: Regla Delta
Generalizada
1 k M
1 j L
1 i N
x
p1
x
pi
x
pN
o
p1
o
pk
o
pM

1
oculta capa la de sima - j la con entrada de
sima - i neurona la entre conexin de Peso
h
ji
w
oculta capa la de tendencia de Trmino
h
j
u
oculta unidad sima - j la de neta Entrada
h
pj
neta
oculta unidad sima - j la de Salida
pj
i
oculta unidad
sima - j la de activacin de Funcin
h
j
f
Aprendizaje: Regla Delta
Generalizada
1 k M
1 j L
1 i N
x
p1
x
pi
x
pN
o
p1
o
pk
o
pM

1
oculta capa la de sima - j la con salida de
sima - k neurona la entre conexin de Peso
o
kj
w
salida de capa la de
unidad sima - k de tendencia de Trmino
o
k
u
salida de unidad
sima - k la de neta Entrada
o
pk
neta
salida de unidad sima - k la de Salida
pk
o
salida unidad
sima - k la de activacin de Funcin
o
k
f
Algoritmo Backpropagation
Consideraciones Prcticas
Experiencia mejor maestro
Conjunto de datos:
Entrenamiento
Validacin o parada anticipada
Test y verificacin
Introducir niveles de ruido en los datos
Generaliza bien (dificultades para extrapolar)
Distribuir el entrenamiento entre datos de
diferentes clases
Si se entrena una red con una clase de datos y se
pasa a otra clase, la red olvidar el entrenamiento
original
1. Datos de Entrenamiento:
Consideraciones Prcticas
1. Dimensin de la Red:
Cuantas neuronas elegir?
Entrada
Salida
Capa Oculta
Son suficientes tres capas?
Entre ms capas la red tiene mayor capacidad de
discernir
Dificultades en la implementacin
Ejemplo compresin de datos (64 b - 16b - 64b)
Tratar de utilizar el menor nmero de unidades
en la capa oculta
Eliminar unidades ocultas superfluas
Consideraciones Prcticas
1. Dimensin de la Red:
Valores pequeos [0,1], [-1, -1]
Inicializacin aleatoria distribucin Gaussiana o ruido
blanco [0.5] [-0.5, 0.5]
o: Velocidad de aprendizaje, es fundamental su
eleccin
alfa pequeo alto nmero de iteraciones
alfa grande puede generar oscilaciones en el
aprendizaje
Es posible modificar alfa en el proceso de aprendizaje?
APRENDIZAJE CON o ADAPTATIVO
Convergencia a mnimos locales?
Momentum q : Tcnica para incrementar la velocidad
de convergencia
( ) ( ) ( ) 1 1 A + + = + t w i t w t w
o
kj p pj
o
pk
o
kj
o
kj
q oo
PREGUNTAS???