Está en la página 1de 83

Perceptrón multicapa

Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Organización

Un poco de historia...

¿Cómo resolver el problema XOR?

Métodos de gradiente para el entrenamiento

Perceptrón multicapa

Retropropagación en el perceptrón multicapa


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Organización

Un poco de historia...

¿Cómo resolver el problema XOR?

Métodos de gradiente para el entrenamiento

Perceptrón multicapa

Retropropagación en el perceptrón multicapa


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Notas históricas

1957 Rosenblatt comienza el desarrollo del Perceptrón


(simple).
1960 Widrow y Hoff desarrollan el modelo Adaline
(ADAptative LINear Elements).
1969 Minsky y Papert prueban que el Perceptrón no es
capaz de resolver problemas sencillos (XOR).
1974 Werbos desarrolla la idea básica del algoritmo de
retro-propagación (BP).
1986 Rumelhart y Hinton redescubren y mejoran el
algoritmo de BP.
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Organización

Un poco de historia...

¿Cómo resolver el problema XOR?

Métodos de gradiente para el entrenamiento

Perceptrón multicapa

Retropropagación en el perceptrón multicapa


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

El problema del XOR

Figura: Representación gráfica del problema del OR exclusivo.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

¿Cómo podemos combinar dos o más PS para resolver el


problema XOR?
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

¿Cómo podemos combinar dos o más PS para resolver el


problema XOR?

Perceptrón A: x2 = −1 − x1
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

¿Cómo podemos combinar dos o más PS para resolver el


problema XOR?

wA0 wA1
Perceptrón A: x2 = −1 − x1 = wA2 − wA2 x1
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

¿Cómo podemos combinar dos o más PS para resolver el


problema XOR?

Perceptrón A: x2 = −1 − x1 = wwA0
A2
− wwA1
A2
x1
 
 wA0 = −1 
→ wA1 = +1 → yA = sgn(x2 + x1 + 1)
wA2 = +1
 
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

¿Cómo podemos combinar dos o más PS para resolver el


problema XOR?

Perceptrón A: x2 = −1 − x1 = wwA0
A2
− wwA1
A2
x1
 
 wA0 = −1 
→ wA1 = +1 → yA = sgn(x2 + x1 + 1)
wA2 = +1
 

Perceptrón B: x2 = +1 − x1
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

¿Cómo podemos combinar dos o más PS para resolver el


problema XOR?

Perceptrón A: x2 = −1 − x1 = wwA0
A2
− wwA1
A2
x1
 
 wA0 = −1 
→ wA1 = +1 → yA = sgn(x2 + x1 + 1)
wA2 = +1
 

Perceptrón B: x2 = +1 − x1
 
 wB0 = +1 
→ wB1 = +1 → yB = sgn(x2 + x1 − 1)
wB2 = +1
 
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

Perceptrón C: yA = +1 + yB
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

Perceptrón C: yA = +1 + yB
 
 wC0 = +1 
→ wC1 = −1 → yC = sgn(yA − yB − 1)
wC2 = +1
 
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

Perceptrón C: yA = +1 + yB
 
 wC0 = +1 
→ wC1 = −1 → yC = sgn(yA − yB − 1)
wC2 = +1
 

¿Cómo es la arquitectura
 de esta red neuronal?
yA = sgn(x2 + x1 + 1)
→ yC = sgn(yA − yB − 1)
yB = sgn(x2 + x1 − 1)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

Perceptrón C: yA = +1 + yB
 
 wC0 = +1 
→ wC1 = −1 → yC = sgn(yA − yB − 1)
wC2 = +1
 

¿Cómo es la arquitectura
 de esta red neuronal?
yA = sgn(x2 + x1 + 1)
→ yC = sgn(yA − yB − 1)
yB = sgn(x2 + x1 − 1)
¿Resuelve el problema XOR?
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

Figura: (a) Arquitectura de una red para resolver el problema del


XOR. (b) Gráfico de flujo de señal de la red.
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Combinación de perceptrones simples

Figura: (a) Límite de decisión construido por la neurona oculta 1 de la


red en la fig. anterior. (b) Límite de decisión construido por la
neurona oculta 2 de la red. (c) Límite de decisión construido por la
red completa.
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Organización

Un poco de historia...

¿Cómo resolver el problema XOR?

Métodos de gradiente para el entrenamiento

Perceptrón multicapa

Retropropagación en el perceptrón multicapa


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Entrenamiento por el método de gradiente

• Concepto:
Mover los pesos en la dirección en que se reduce el error,
dirección que es opuesta a su gradiente con respecto a los
pesos
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Entrenamiento por el método de gradiente

• Concepto:
Mover los pesos en la dirección en que se reduce el error,
dirección que es opuesta a su gradiente con respecto a los
pesos
• Interpretación gráfica
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Entrenamiento por el método de gradiente

• Concepto:
Mover los pesos en la dirección en que se reduce el error,
dirección que es opuesta a su gradiente con respecto a los
pesos
• Interpretación gráfica
• Ecuación básica:

w(n + 1) = w(n) − µ∇w ξ(w(n))


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Entrenamiento por el método de gradiente

• Concepto:
Mover los pesos en la dirección en que se reduce el error,
dirección que es opuesta a su gradiente con respecto a los
pesos
• Interpretación gráfica
• Ecuación básica:

w(n + 1) = w(n) − µ∇w ξ(w(n))

• Aplicación:
• Caso sencillo: perpectrón simple (least mean squares)
• Caso más general: perceptrón multicapa
(back-propagation)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Organización

Un poco de historia...

¿Cómo resolver el problema XOR?

Métodos de gradiente para el entrenamiento

Perceptrón multicapa

Retropropagación en el perceptrón multicapa


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Extensión del algoritmo a múltiples capas

• Entrenamiento por gradiente en el ADALINE


• Entrenamiento por gradiente en el MADALINE
• Entrenamiento por gradiente en el caso general
• Regiones de decisión
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Regiones para varias capas

Figura: Diferentes problemas no-linealmente separables (Lippmann,


1987).
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Arquitectura del perceptrón multicapa

Figura: Arquitectura de un perceptrón multicapa (PMC) con dos


capas ocultas.
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Arquitectura del perceptrón multicapa

Figura: Ilustración de las dos direcciones básicas de flujos de señal


en un PMC.
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Arquitectura del perceptrón multicapa

• Representación gráfica de 3 capas


• Cálculo de las salidas en cada capa
• Criterio: suma del error cuadrático instantáneo
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Cálculo de las salidas en cada capa

• Capa I:
N
vIj = wI , x =

P
wIji xi (completo vI = Wx)
i=0
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Cálculo de las salidas en cada capa

• Capa I:
N
vIj = wI , x =

P
wIji xi (completo vI = Wx)
i=0
2
yIj = φ(vIj ) = I − 1 (simétrica ± 1)
1 + e−bvj
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Cálculo de las salidas en cada capa

• Capa I:
N
vIj = wI , x =

P
wIji xi (completo vI = Wx)
i=0
2
yIj = φ(vIj ) = I − 1 (simétrica ± 1)
1 + e−bvj

• Capa II:
vIIj = wII , yI


→ yIIj = φ(vIIj )

• Capa III:
vIII

III II
j = w ,y → yIII III
j = φ(vj ) = yj
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Criterio de error

Suma del error cuadrático instantáneo

M
1X 2
ξ(n) = e (n)
2 j=1 j
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Aplicación del gradiente (caso general)

∂ξ(n)
∆wji (n) = −µ ∂w ji (n)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Aplicación del gradiente (caso general)

∂ξ(n)
∆wji (n) = −µ ∂w ji (n)

∂ξ(n) ∂ξ(n) ∂ej (n) ∂yj (n) ∂vj (n)


=
∂wji (n) ∂ej (n) ∂yj (n) ∂vj (n) ∂wji (n)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Aplicación del gradiente (caso general)

∂ξ(n)
∆wji (n) = −µ ∂w ji (n)

∂ξ(n) ∂ξ(n) ∂ej (n) ∂yj (n) ∂vj (n)


=
∂wji (n) ∂ej (n) ∂yj (n) ∂vj (n) ∂wji (n)

N
P
∂ wji (n)yi (n)
∂vj (n) i=0
= = yi (n)
∂wji (n) ∂wji (n)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Aplicación del gradiente (caso general)

∂ξ(n)
∆wji (n) = −µ ∂w ji (n)

∂ξ(n) ∂ξ(n) ∂ej (n) ∂yj (n)


= yi (n)
∂wji (n) ∂ej (n) ∂yj (n) ∂vj (n)

∂ξ(n) ∂yj (n)


Gradiente de error local instantáneo: δj =
∂yj (n) ∂vj (n)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Aplicación del gradiente (caso general)

∆wji (n) = µδj (n)yi (n)

∂ξ(n) ∂ξ(n) ∂ej (n) ∂yj (n)


= yi (n)
∂wji (n) ∂ej (n) ∂yj (n) ∂vj (n)

∂ξ(n) ∂yj (n)


Gradiente de error local instantáneo: δj =
∂yj (n) ∂vj (n)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Derivada de la función de activación simétrica (1/2)

n o
2
∂yj (n) ∂ −1
1+e−vj (n)
=
∂vj (n) ∂vj (n)
e−vj (n)
= 2 2
1 + e−vj (n)
1 e−vj (n)
= 2
1 + e−vj (n) 1 + e−vj (n)
0
z }| {
1 −1 + 1 +e−vj (n)
= 2
1 + e−vj (n) 1 + e−vj (n) !
1 −1 1 + e−vj (n)
= 2 +
1 + e−vj (n) 1 + e−vj (n) 1 + e−vj (n)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Derivada de la función de activación simétrica (2/2)

 
∂yj (n) 1 1
= 2 1−
∂vj (n) 1 + e−vj (n) 1 + e−vj (n)
 
yj (n) + 1 yj (n) + 1
= 2 1−
2 2
 
yj (n) + 1
= (yj (n) + 1) 1 −
2
 
2 − yj (n) − 1
= (yj (n) + 1)
2
1
= (yj (n) + 1)(yj (n) − 1)
2
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Aplicación del gradiente (caso general)

∆wji (n) = µδj (n)yi (n)

∂ξ(n) ∂ξ(n) ∂ej (n) ∂yj (n)


= yi (n)
∂wji (n) ∂ej (n) ∂yj (n) ∂vj (n)

∂ξ(n) ∂yj (n)


Gradiente de error local instantáneo: δj = −
∂yj (n) ∂vj (n)
∂ξ(n) 1
δj = (1 + yj (n))(1 − yj (n))
∂yj (n) 2
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Organización

Un poco de historia...

¿Cómo resolver el problema XOR?

Métodos de gradiente para el entrenamiento

Perceptrón multicapa

Retropropagación en el perceptrón multicapa


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa III (salida)

∆wIII III II
ji (n) = µδj (n)yi (n)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa III (salida)

∆wIII III II
ji (n) = µδj (n)yi (n)

∂ξ(n) 1
δjIII (n) = − (1 + yIII III
j (n))(1 − yj (n))
∂yIII
j (n) 2
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa III (salida)

∆wIII III II
ji (n) = µδj (n)yi (n)

∂ξ(n) 1
δjIII (n) = − (1 + yIII III
j (n))(1 − yj (n))
∂yIII
j (n) 2

∂ξ(n) ∂ej (n) 1


δjIII (n) = − (1 + yIII III
j (n))(1 − yj (n))
∂ej (n) ∂yIII
j (n) 2
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa III (salida)

n P o n o
1 2
∂ 2 j ej (n) ∂ djIII (n) − yIII
j (n)
δjIII (n) = − · ·
∂ej (n) ∂yIII
j (n)
1
· (1 + yIII III
j (n))(1 − yj (n))
2
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa III (salida)

n P o n o
1 2
∂ 2 j ej (n) ∂ djIII (n) − yIII
j (n)
δjIII (n) = − · ·
∂ej (n) ∂yIII
j (n)
1
· (1 + yIII III
j (n))(1 − yj (n))
2

δjIII (n) = 12 ej (n)(1 + yIII III


j (n))(1 − yj (n))
F
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa III (salida)

n P o n o
1 2
∂ 2 j ej (n) ∂ djIII (n) − yIII
j (n)
δjIII (n) = − · ·
∂ej (n) ∂yIII
j (n)
1
· (1 + yIII III
j (n))(1 − yj (n))
2

δjIII (n) = 12 ej (n)(1 + yIII III


j (n))(1 − yj (n))
F

∆wIII III III II


ji (n) = ηej (n)(1 + yj (n))(1 − yj (n))yi (n)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)

∆wIIji (n) = µδjII (n)yIi (n)


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)

∆wIIji (n) = µδjII (n)yIi (n)

∂ξ(n) 1
δjII (n) = − (1 + yIIj (n))(1 − yIIj (n))
∂yIIj (n) 2
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)

∆wIIji (n) = µδjII (n)yIi (n)

∂ξ(n) 1
δjII (n) = − (1 + yIIj (n))(1 − yIIj (n))
∂yIIj (n) 2
1 P 2

∂ k ek (n) 1
δjII (n) =− 2
(1 + yIIj (n))(1 − yIIj (n))
∂yIIj (n) 2
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)

∆wIIji (n) = µδjII (n)yIi (n)

∂ξ(n) 1
δjII (n) = − (1 + yIIj (n))(1 − yIIj (n))
∂yIIj (n) 2
1 P 2

∂ k ek (n) 1
δjII (n) =− 2
(1 + yIIj (n))(1 − yIIj (n))
∂yIIj (n) 2
1 X ∂e2 (n) 1
δjII (n) = − k
(1 + yIIj (n))(1 − yIIj (n))
2 ∂yIIj (n) 2
k
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)

∆wIIji (n) = µδjII (n)yIi (n)

∂ξ(n) 1
δjII (n) = − (1 + yIIj (n))(1 − yIIj (n))
∂yIIj (n) 2
1 P 2

∂ k ek (n) 1
δjII (n) =− 2
(1 + yIIj (n))(1 − yIIj (n))
∂yIIj (n) 2
1 X ∂e2 (n) 1
δjII (n) = − k
(1 + yIIj (n))(1 − yIIj (n))
2 ∂yIIj (n) 2
k
X ∂ek (n) 1
δjII (n) = − ek (n) II (1 + yIIj (n))(1 − yIIj (n))
∂yj (n) 2
k
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)


X ∂ek (n) ∂yIII III
k (n) ∂vk (n) 1
δjII (n) = − ek (n) (1+yIIj (n))(1−yIIj (n))
∂yk (n) ∂vk (n) ∂yIIj (n) 2
III III
k
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)


X ∂ek (n) ∂yIII III
k (n) ∂vk (n) 1
δjII (n) = − ek (n) (1+yIIj (n))(1−yIIj (n))
∂yk (n) ∂vk (n) ∂yIIj (n) 2
III III
k

∂ dkIII (n) − yIII



k (n) 1
X
δjII (n) = − ek (n)· III · (1 + yIII III
k (n))(1 − yk (n)) ·
∂yk (n) 2
k
nP o
∂ w III yII (n)
j kj j 1
· II · (1 + yIIj (n))(1 − yIIj (n))
∂yj (n) 2
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)


X ∂ek (n) ∂yIII III
k (n) ∂vk (n) 1
δjII (n) = − ek (n) (1+yIIj (n))(1−yIIj (n))
∂yk (n) ∂vk (n) ∂yIIj (n) 2
III III
k

∂ dkIII (n) − yIII



k (n) 1
X
δjII (n) = − ek (n)· III · (1 + yIII III
k (n))(1 − yk (n)) ·
∂yk (n) 2
k
nP o
∂ w III yII (n)
j kj j 1
· II · (1 + yIIj (n))(1 − yIIj (n))
∂yj (n) 2

X 1
δjII (n) = − ek (n)·(−1) · (1 + yIII III
k (n))(1 − yk (n)) ·
2
k
1
·wIII II II
kj · (1 + yj (n))(1 − yj (n))
2
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)

X 1
δjII (n) = ek (n) · (1 + yIII III III
k (n))(1 − yk (n)) · wkj ·
2
k
1
· (1 + yIIj (n))(1 − yIIj (n))
2
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)

X 1
δjII (n) = ek (n) · (1 + yIII III III
k (n))(1 − yk (n)) · wkj ·
2
k
1
· (1 + yIIj (n))(1 − yIIj (n))
2

Pero de la capa IIIF sabemos que:

δkIII (n) = 12 ek (n)(1 + yIII III


k (n))(1 − yk (n))
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)

X 1
δjII (n) = ek (n) · (1 + yIII III III
k (n))(1 − yk (n)) · wkj ·
2
k
1
· (1 + yIIj (n))(1 − yIIj (n))
2

Pero de la capa IIIF sabemos que:

δkIII (n) = 12 ek (n)(1 + yIII III


k (n))(1 − yk (n))

Reemplzando:
X 1
δjII (n) = δkIII (n)wIII II II
kj · (1 + yj (n))(1 − yj (n))
2
k
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)

Volviendo a:

∆wIIji (n) = µδjII (n)yIi (n)


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Retropropagación en la capa II (oculta)

Volviendo a:

∆wIIji (n) = µδjII (n)yIi (n)

Por lo tanto:
 
∆wIIji (n) δkIII wIII (1 + yIIj (n))(1 − yIIj (n))yIi (n)
P
=η kj (n)
k
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Generalizando para la capa “p”

" #
X
∆wIIji (n) = η δkIII wIII II II I
kj (n) (1 + yj (n))(1 − yj (n))yi (n)
k

D E
(p) (p+1) (p) (p) (p−1)
∆wji (n) = η δ (p+1) , wj (1 + yj (n))(1 − yj (n))yi (n)
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Resumen del algoritmo de retropropagación (BP)

1. Inicialización aleatoria
2. Propagación hacia adelante (de la entrada)
3. Propagación hacia atras (del error)
4. Adaptación de los pesos
5. Iteración: vuelve a 2 hasta convergencia o finalización
Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo gráfico BP con PMC 3 capas

Figura: Ejemplo de un PMC de 3 capas.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Cálculo de las salidas en cada capa

Figura: Cálculo salida capa I, neurona 1.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Cálculo de las salidas en cada capa

Figura: Cálculo salida capa I, neurona 2.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Cálculo de las salidas en cada capa

Figura: Cálculo salida capa I, neurona 3.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Cálculo de las salidas en cada capa

Figura: Cálculo salida capa II, neurona 1.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Cálculo de las salidas en cada capa

Figura: Cálculo salida capa II, neurona 2.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Cálculo de las salidas en cada capa

Figura: Cálculo salida capa III, neurona 1.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Retropropagación en la capa III (salida)

Figura: Cálculo del error en capa III, neurona 1.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Retropropagación en la capa III (salida)

Figura: Propagación del error a la capa II, neurona 1.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Retropropagación en la capa III (salida)

Figura: Propagación del error a la capa II, neurona 2.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Retropropagación en la capa II (oculta)

Figura: Propagación del error a la capa I, neurona 1.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Retropropagación en la capa II (oculta)

Figura: Propagacion del error a la capa I, neurona 2.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Retropropagación en la capa II (oculta)

Figura: Propagación del error a la capa I, neurona 3.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Actualizando los pesos de la red

Figura: Actualización de pesos capa I, neurona 1.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Actualizando los pesos de la red

Figura: Actualización de pesos capa I, neurona 2.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Actualizando los pesos de la red

Figura: Actualizacion de pesos capa I, neurona 3.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Actualizando los pesos de la red

Figura: Actualización de pesos capa II, neurona 1.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Actualizando los pesos de la red

Figura: Actualización de pesos capa II, neurona 2.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Ejemplo: Actualizando los pesos de la red

Figura: Actualización de pesos capa III, neurona 1.


Introducción XOR Entrenamiento ∇ PS Perceptrón multicapa Retropropagación

Término de momento

Modificación adaptativa de la velocidad de aprendizaje.


(ver Haykin Sección 6.3)