REDES NEURONALES

UNMSM-FISI Semestre 2014-2

Rolando A. Maguia Prez

Perceptrn Unicapa (PU

Ori!en" caracter#sticas

Pr$%&ema 'e& $pera'$r &!ic$ (NAND

Pr$%&ema 'e c&asi(icacin 'e '$s c&ases

)e$rema 'e *$n+er!encia

A&!$ritm$

Perceptrn 'e '$s capas

ADALINE

*aracter#sticas" re!&as

Pr$%&ema
Agenda
Rolando A. Maguia Prez
-0.5 0 0.5 1 1.5
-0.5
0
0.5
1
1.5
Vectors to be Classified
P(1)
P
(
2
)
Pesos Inicializados
EJM. Funcin OR
s1 s2 t
1 1 1
1 0 1
0 1 1
0 0 0
-0.5 0 0.5 1 1.5
-0.5
0
0.5
1
1.5
Vectors to be Classified
P(1)
P
(
2
)
1er Entrenamiento
-0.5 0 0.5 1 1.5
-0.5
0
0.5
1
1.5
Vectors to be Classified
P(1)
P
(
2
)
2do Entrenamiento
-0.5 0 0.5 1 1.5
-0.5
0
0.5
1
1.5
Vectors to be Classified
P(1)
P
(
2
)
3er Entrenamiento
Y
X1
X2

Limitaciones del PU
Rolando A. Maguia Prez

E,isten Restricci$nes en &a Representacin

E-emp&$. N$ representan &a F/ncin 0OR

s1 s2 t
1 1 0
1 0 1
0 1 1
0 0 0
+
+
O
O
Sol: Dos capas (2 , 1)
-0.5 0 0.5 1 1.5
-0.5
0
0.5
1
1.5
Vectors to be Classified
P(1)
P
(
2
)
-0.5 0 0.5 1 1.5
-0.5
0
0.5
1
1.5
Vectors to be Classified
P(1)
P
(
2
)
-0.5 0 0.5 1 1.5
-0.5
0
0.5
1
1.5
Vectors to be Classified
P(1)
P
(
2
)
Limitaciones del PU
Rolando A. Maguia Prez
*apa 'e sa&i'a imp&ementa /n AND
Limitaciones del PU
0" si x1(0"0" (1"1
1" si x1(0"1" (1"0
2 1
*apa $c/&ta 'i+i'e espaci$ en '$s re!i$nes
Rolando A. Maguia Prez
D!"#E (D!"#)
*$ncept$
Apren'i3a-e
Pr$%&emas
*aracter#sticas
Rolando A. Maguia Prez
ADApti+e LInear NE/r$n (Ne/r$na Linea& A'aptati+a
tiene 2 capas 'e ne/r$nas" en capa 'e sa&i'a /na ne/r$na
apren'i3a-e me'iante re!&a 'e&ta (4i'r$5-6$((
+a&$r(es 'e sa&i'a p/e'e(n t$mar c/a&7/ier +a&$r

*aracter#sticas.
ADALINE
,
N
,
1
,
2
,
8
5
1
5
2
5
8
5
N
2

/
999
%
Rolando A. Maguia Prez
s/ma p$n'era'a 'e +a&$res 'e entra'a
Re!&a 'e pr$pa!acin
Re!&a 'e acti+acin
Re!&a 'e sa&i'a
(/ncin &inea& ap&ica'a a& res/&ta'$ 'e s/mat$ria
Reglas de la red ADALINE

Rolando A. Maguia Prez

M:t$'$ 'e& !ra'iente 'escen'ente para $%tener e&

+ect$r 'e pes$s 7/e minimi3a E
5
i
1 - E($
E($. !ra'iente 'e& err$r c$n respect$ a& +ect$r 'e
pes$s $
E($ 1 ;E<5
0
" E<5
1
" E<5
2
"999999" E<5
N
=

Sea D e& n>mer$ 'e e-emp&$s 'isp$ni%&es para e&

entrenamient$9

Err$r t$ta& c$meti'$ p$r &a re' .

Mtodo de gradiente descendente

Rolando A. Maguia Prez

La re!&a 'e apren'i3a-e a& ap&icar este c$ncept$
t
'
. sa&i'a 'esea'a para ca'a e-m ' 'e D
2
'
. sa&i'a estima'a p$r &a re' para ca'a e-m ' 'e D
,
i'
. entra'a 'e &a i-:sima ne/r$na para e& e-m '
. tasa 'e apren'i3a-e $ pas$ 'e& entrenamient$
Mtodo de gradiente descendente

La e,presin anteri$r se p/e'e e,presar tam%i:n as#.

5
i


E
5
i

Rolando A. Maguia Prez
Di(ic/&ta'es pr?cticas 'e& !ra'iente 'escen'ente

La c$n+er!encia a /n m#nim$ &$ca& p/e'e ser /n

pr$ces$ %astante &ent$9

Si &a s/per(icie 'e& err$r presenta +ari$s m#nim$s" n$

@a2 !arant#a 'e 7/e e& m:t$'$ enc/entre e& m#nim$
!&$%a&
Una manera 'e a&i+iar esas 'i(ic/&ta'es es /ti&i3ar e&
m:t$'$ 'e !ra'iente 'escen'ente incrementa&
(est$c?stic$" $n &ine
Mtodo de gradiente descendente
Rolando A. Maguia Prez
Ara'iente 'escen'ente
ca&c/&a 2 e(ect>a e& a-/ste 'e &$s pes$s 'esp/:s
'e &a presentacin 'e t$'$s &$s e-emp&$s 'e
entrenamient$ en D
Ara'iente 'escen'ente est$c?stic$
ca&c/&a 2 e(ect>a e& a-/ste 'e &$s pes$s 'esp/:s
'e &a presentacin 'e ca'a e-emp&$ 'e
entrenamient$ en D
Mtodo de gradiente descendente
Rolando A. Maguia Prez
Usa e& m:t$'$ !ra'iente 'escen'ente est$c?stic$9
Regla delta (Widrow-Hoff)

5
i
1 (t -2 ,
i

5
i
(n/e+$ 1 5
i
(ant B 5
i
Re!&a 'e apren'i3a-e
6iptesis
*/an'$ &as m$'i(icaci$nes 'e &$s pes$s se @acen
s$%re t$'$ e& c$n-/nt$ 'e entrenamient$ 2 en
+arias :p$cas" 2 /san'$ /na tasa 'e apren'i3a-e &$
s/(icientemente pe7/eCa" e& !ra'iente 'escen'ente
est$c?stic$ $(rece /na %/ena estimati+a 'e&
!ra'iente 'escen'ente
Rolando A. Maguia Prez

5
i
1 (t -2 ,
i

5
i
1 5
i
(n/e+$ - 5
i
(ant
Re!&a 'e apren'i3a-e
M$'i(icar &$s pes$s ca'a +e3 7/e se e7/i+$ca en /na
resp/esta se!>n.
'$n'e.
t . sa&i'a 'esea'a para &a ne/r$na 'e sa&i'a
2 . sa&i'a estima'a p$r &a re' para &a ne/r$na 'e sa&i'a
,
i
. i-:sima entra'a para &a ne/r$na 'e sa&i'a
. tasa 'e apren'i3a-e" pas$ 'e& entrenamient$
+a&$r t#pic$ 'e . 091
Reglas de la red ADALINE
Rolando A. Maguia Prez
Algoritmo de Entrenamiento
Rolando A. Maguia Prez
a ca&c/&ar e& err$r en ca'a iteracin 2 parar
c/an'$ e& 'e&ta 'e& err$r (c/?nt$ se m$'i(ic e&
err$r entre '$s iteraci$nes sea men$r 7/e /na
pr$p$rcin pre'etermina'a
% &imitar e& n>mer$ m?,im$ 'e iteraci$nes
Otr$s criteri$s 'e para'a
E(5(DB1 E E(5(D -
c) mayor cambio que ocurri en el aso 2
Algoritmo de Entrenamiento
Rolando A. Maguia Prez
a E& +a&$r 'e &$s pes$s inicia&es (p/nt$ 'es'e e&
c/a& se inicia e& a&!$ritm$ 2 &a tasa 'e apren'i3a-e
es /n (act$r 7/e in(&/2e %astante en e& 'esempeC$
'e& a&!$ritm$9
% La /nici'a' 'e &a s$&/cin re7/iere 'e /n
tamaC$ m#nim$ 'e& c$n-/nt$ 'e entrenamient$ 2
'e in'epen'encia &inea& entre s/s e&ement$s9
*$mentari$s
Algoritmo de Entrenamiento
Rolando A. Maguia Prez
Comaraci!n entre ADALINE " #$

A/n7/e s/ ($rma (/nci$na& es seme-ante"

@a2 a&!/nas 'i(erencias imp$rtantes.

e& t:rmin$ F2G en &a re!&a 'e& ADALINE

c$rresp$n'e a &a sa&i'a 'e /na ne/r$na &inea&
mientras 7/e en &a re!&a 'e& perceptrn
representa &a sa&i'a 'e /na ne/r$na &!ica9

en e& Perceptrn &a e,presin para &$s a-/stes

'e &$s pes$s n$ (/e $%teni'a a tra+:s 'e&
m:t$'$ 'e !ra'iente 'escen'ente p/es e&
sistema presenta /na n$ &inea&i'a' 'isc$ntin/a
Rolando A. Maguia Prez