Regla delta con una sola neurona

y
1
x
1
x
2
x
d
.
.
.
w
0
w
1
w
2
w
d
Sin funcin de activacin
0
( )
d
T
i i
i
y x w x x w
=
= =

( )
2
( ) E d y x =

( ) ( )
2 ( ) 2 ( )
i
i i
E y
d y x d y x x
w w

= =


( )
i i i
w w d y x +
( )
( ) 1| y x p d x = =

Minimizacin del error cuadrtico

Algoritmo de aprendizaje (regla delta)
Generar pesos iniciales aleatorios:
Elegir un valor para la constante de aprendizaje
Mientras que no se alcance la condicin de parada:
Para cada ejemplo :
Calcular y:
Actualizar pesos:
( 0.5,0.5)
i
w
0
( )
d
i i
i
y x x w
=
=

( )
i i i
w w d y x +

y
1
x
1
x
2
x
d
.
.
.
w
0
w
1
w
2
w
d
Combinacin de m neuronas sin funcin de activacin
1
x
1
x
2
x
d
.
.
.
y
1
y
2
y
m
.
.
.
w
11
w
12
w
1m
1 1
0
d
i i
i
y x w
=
=

2 2
0
d
i i
i
y x w
=
=

0
d
m i im
i
y x w
=
=

( )
( )
2
2
1
( )
m
k k
k
E d y x d y
=
= =

.
.
.
Gradiente
( )
( )
2
2
1
( )
m
k k
k
E d y x d y
=
= =

( )
( ) ( )
2
2
1
2
m
j
k k j j j j
k
ij ij ij ij
y
E
d y d y d y
w w w w
=

= = =

( )
2
j j i
ij
E
d y x
w

1
x
1
x
2
x
d
.
.
.
y
1
y
2
y
m
.
.
.
w
11
w
12
w
1m
0
d
j
r rj i
r
ij ij
y
x w x
w w
=

= =

La regla delta
ij
E
w

( )
j j i
ij
E
d y x
w

( )
ij ij j j i
w w d y x +

Algoritmo de aprendizaje (regla delta)

Generar pesos iniciales aleatorios:
Elegir un valor para la constante de aprendizaje
Mientras que no se alcance la condicin de parada:
Para cada ejemplo :
Calcular y
k
con k=1,,m:
Actualizar pesos:
( 0.5,0.5)
ij
w
0
( )
d
k i ik
i
y x x w
=
=

( )
ij ij j j i
w w d y x +

1
x
1
x
2
x
d
.
.
.
y
1
y
2
y
m
.
.
.
w
11
w
12
w
1m
Algoritmo de clasificacin
Dado un ejemplo :
Calcular y
k
con k=1,,m:
Clasificar por distancia a cdigos:
0
( )
d
k i ik
i
y x x w
=
=

( )
2
( ) min
c
c
clase x y d =