El Perceptrn

1958 - El psiclogo Frank Ronsenblant desarroll un modelo

simple de neurona basado en el modelo de McCulloch y Pitts que
utilizaba una regla de aprendizaje basada en la correccin del error:
Perceptrn

1 si w1 x1 w2 x2 ... wn xn
y f ( x1 , x2 ,..., xn )
w1 1 si w1 x1 w2 x2 ... wn xn
x1
w2
x2 y

w3
x3 w1 x1 w2 x2

w1 x1 w2 x2

w1 x1 w2 x2
Funcin paso o De Heaviside Funcin signo
 Qu se pretende con el Perceptrn?
Se dispone de la siguiente informacin:
Conjunto de patrones {xk}, k = 1,2,,p1 , de la clase C1 (zk = 1)
Conjunto de patrones {xr}, k = p1+1,...,p , de la clase C2 (zr = -1)

Se pretende que el perceptrn asigne a cada entrada (patrn xk) la

salida deseada zk siguiendo un proceso de correccin de error (aprendizaje)
para determinar los pesos sinpticos apropiados

Regla de aprendizaje del Perceptrn: w j k (k ) z k y k x j k

error
w j (k ) 2x j (k ) si y (k ) 1 y z (k ) 1,
tasa de
w j (k 1) w j (k ) si y (k ) z (k )
aprendizaje
w j (k ) 2x j (k ) si y (k ) 1 y z (k ) 1
 Cmo se modifica el sesgo ?

w1 x1 w2 x2 ... wn xn w1 x1 w2 x2 ... wn xn wn1 xn1 0

w1
x1 1

w2
y w1 x1 w2 x2 ... wn xn (1) 0
x2
w3
x3

1
k (k ) z k y k
 Algoritmo del Perceptrn
Paso 0: Inicializacin
Inicializar los pesos sinpticos con nmeros aleatorios del intervalo [-1,1].
Ir al paso 1 con k=1
Paso 1: (k-sima iteracin)
n 1
Calcular
y (k ) sgn w x j j (k )
j 1
Paso 2: Correccin de los pesos sinpticos
Si z(k) y(k) modificar los pesos sinpticos segn la expresin:

w j k 1 w j k z i k y i k x j k , j 1,2,..., n 1

Paso 3: Parada
Si no se han modificado los pesos en las ltimas p iteraciones, es decir,
w j (r ) w j (k ), j 1,2,..., n 1, r k 1,..., k p
parar. La red se ha estabilizado.

En otro caso, ir al Paso 1 con k=k+1.

 Ejemplo
Disea un perceptrn que implemente la funcin
lgica AND
AND
Entradas Salidas
(1, 1) 1 w1
x1
(1, 1) w2
1 x2 y

(1, 1)
1 1

(1,1)
1
Paso 0: Inicializacin aleatoria
w1 = 0.4, w2 = 0.2, = 0.6,
 Disea un perceptrn que implemente la funcin
lgica AND
0.3
1
0.2
1 y

0.6
1

Paso 1:
Patrn de entrada (1,1): h 0.3(1) 0.2(1) 0.6(1) 1.1

Paso 2: Correccin de los pesos sinpticos

y=1
w1 (1) w1 (0) 21 0.3 1 0.7

w2 (1) w2 (0) 2 ( 1) 0.2 1 0.8 Elegimos =0.5

(1) (0) 2 (1) 0.6 1 0.4

 Disea un perceptrn que implemente la funcin
lgica AND
0.7
1
0.8
1 y

0.4
1

Paso 1:
Patrn de entrada (1,1): h 0.7(1) 0.8(1) 0.4(1) 0.5

Como y = 1 y z = 1 la clasificacin es correcta

y=1
 Disea un perceptrn que implemente la funcin
lgica AND
0.7
1
0.8
1 y

0.4
1

Paso 1:
Patrn de entrada (1,1): h 0.7(1) 0.8(1) 0.4(1) 0.3

Paso 2: Correccin de los pesos sinpticos y=1

w1 (2) w1 (1) 2 (1) 0.7 1 0.3
w2 (2) w2 (1) 2 (1) 0.8 1 1.8 Elegimos = 0.5

(2) (1) 2 (1) 0.4 1 0.6

 Disea un perceptrn que implemente la funcin
lgica AND
0.3
1
1.8
1 y

0.6
1

Paso 1:
Patrn de entrada (1,1): h 0.3(1) 1.8(1) 0.6(1) 2.1

Paso 2: Correccin de los pesos sinpticos

y=1
w1 (3) w1 (2) 2 (1) 0.3 1 1.3
w2 (3) w2 (2) 2 (1) 1.8 1 0.8
Elegimos = 0.5
(3) (2) 2 (1) 0.6 1 0.4
 Disea un perceptrn que implemente la funcin
lgica AND
1.3
-1
0.8
1 y
0.4
1

1.3 x1 0.8 x2 0.4 0

Patrn (1,1): h 1.3(1) 0.8(1) 0.4(1) 2.7

Patrn (1,1): h 1.3(1) 0.8(1) 0.4(1) 0.1

Patrn (1,1): h 1.3(1) 0.8(1) 0.4( 1) 2.5

Patrn (1,1): h 1.3(1) 0.8(1) 0.4(1) 0.9

 Disea un perceptrn que implemente la funcin
lgica AND
1.3
1
0.8
1 y

0.4
1

Paso 1:
Patrn de entrada (1,1): h 1.3(1) 0.8(1) 0.4(1) 0.1

Paso 2: Correccin de los pesos sinpticos

y=1
w1 (3) w1 (2) 2 (1) 1.3 1 0.7
w2 (3) w2 (2) 2 (1) 0.8 1 1.8
Elegimos = 0.5
(3) (2) 2 (1) 0.4 1 1.4
 Disea un perceptrn que implemente la funcin
lgica AND
0.7
1
1.8
1 y
1.4
1

Paso 1:
Patrn de entrada (1,1): h 1.3(1) 0.8(1) 0.4(1) 0.1

Paso 2: Correccin de los pesos sinpticos

y=1
w1 (3) w1 (2) 2 (1) 1.3 1 0.7
w2 (3) w2 (2) 2 (1) 0.8 1 1.8
Elegimos = 0.5
(3) (2) 2 (1) 0.4 1 1.4
 El Perceptrn
Dado un conjunto cualquiera de patrones de entrenamiento,
puede el Perceptrn aprender a clasificarlos correctamente?

Problema XOR
Entradas Salidas
(1, 1) 1

(1, 1)
1

(1, 1)
1
(a) (b)
(1,1)
1
Conjuntos separables linealmente
Teorema de convergencia del Perceptrn
Si el conjunto de patrones de entrenamiento con sus salidas deseadas,
{x1 ,z1}, {x2 ,z2},,{ xp ,zp},
es linealmente separable entonces el Perceptrn simple encuentra una
solucin en un nmero finito de iteraciones

Demostracin

Como es linealmente separable entonces existen w1* , w2* ,..., wn*1

n

j x j wn1
w *

j 1
si son de la clase C1

w x
j 1
*
j j wn1 si son de la clase C2
Demostracin

w k 1 w w (k ) z (k ) y(k ) x (k ) w
n 1 n 1
* 2 * 2
j j j j j
j 1 j 1

n 1 n 1 n 1
wj k w * 2
z k y k x k 2 z k y k w j k w*j x j k
2 2 2
j j
j 1 j 1 j 1

n 1 n 1
2 z k y k ( w j (k ) x j k ) 2 z k y k w*j x j k
j 1 j 1

n 1 n 1
2 wj k x j k 2 w*j x j k
j 1 j 1

wj k w
n 1 n 1 n 1
* 2
4 x k 0 4 w*j x j k
2 2
j j
j 1 j 1 j 1
Demostracin

w k 1 w w k w
n 1 n 1 n 1 n 1

j 1
j
* 2
j
j 1
j
* 2
j 4 2
x k
j 1
j
2
4 w*j x j k
j 1

w k 1 w w k w
n 1 n 1
* 2 * 2
4 2 L 4T n 1
j 1
j j
j 1
j j
T min
1 k p
j x j k
w *

j 1
n 1
x k
2
L max j
1 k p
j 1

w k 1 w w k w
n 1 n 1
* 2 * 2
j j j j 4 (L T )
j 1 j 1

w k 1 w w k w
n 1 n 1
* 2 * 2
Si L T 0 j j j j
j 1 j 1

T

L
 Tasa de aprendizaje ptima
Se trata de elegir de la tasa de aprendizaje manera que se
produzca un mayor decrecimiento del error en cada iteracin

Error cuadrtico en la iteracin k+1

n 1 n 1 n 1
E ( ) D(k 1) D(k ) 4 2
x k
j 1
j
2
4 w j k x j k 4 w*j x j k
j 1 j 1

n 1
D k 1 w j k 1 w*j
2

j 1

E n 1 n 1 n 1
8 x j k 4 w j k x j k 4 w*j x j k 0
2

j 1 j 1 j 1
n 1 n 1

w kx k w x k
j 1
j j
j 1
*
j j

opt n 1
2 x j k
2

j 1
 Tasa de aprendizaje ptima

n 1 n 1 n 1
w kx k w x k
j 1
j j
j 1
*
j j w kx k j j
opt ~opt
j 1
n 1 n 1
2 x j k
xj k
2 2
j 1
j 1

n 1 n 1
2 w j (k ) x j k z k y k w j (k ) x j k
j 1 j 1

n 1
z (k ) y (k ) w j k x j k
~opt n 1
j 1

2 x j k
2

j 1
Regla de aprendizaje normalizada

n 1
z k y k w j k x j k
w j (k 1) w j k n 1
j 1
z k y k x j k
2 x j k
2

j 1

n 1

w kx k j j

w j (k 1) w j k 2 xj k
j 1
n 1

x k
2
j
j 1
 Regla de aprendizaje normalizada

n 1
w (k 1) w j (k 1) 2
2

j 1

2
n 1
n 1

n 1 n 1
w j (k ) x j (k ) w j (k ) x j (k ) n 1
w j (k ) x j (k ) 2
w
j 1 j 1
2 2
4 (k ) x j (k )
n 1 n 1 j
j 1 j 1
x j (k ) 2 x j (k ) 2 i 1

j 1 j 1

n 1
w j (k ) 2 1
j 1
Interpretacin de la regla de aprendizaje del
Perceptrn
n 1
w x wj x j 0
T
x C1
j 1
y sgn(w T x) z , x C1 C 2
n 1
w x w j x j 0 x C2
T

j 1

w (k ) a(k ) si (a(k ))T w (k ) 0 x(k ) si z (k ) 1

w (k 1) a(k)
w (k ) en otro caso x(k ) si z (k ) 1

Se realizan las correcciones siempre y cuando se producen clasificaciones

incorrectas, es decir,
(a(k ))T w (k ) 0
Interpretacin de la regla de aprendizaje del Perceptrn

Se realizan las correcciones siempre y cuando se producen clasificaciones

incorrectas, es decir,

a(k) w(k+1)
a(k)
(a(k )) w (k ) 0
T

w(k)

(a(k ))T w (k ) 0
 Deduccin de la regla de aprendizaje
La regla de aprendizaje del Perceptrn intenta encontrar una
solucin w* para el siguiente sistema de desigualdades:

a( k ) T w 0 k =1,2,,p

Funcin criterio: J (w ) a ( k
kI ( w )
) T
w

I(w) es el conjunto de patrones clasificados incorrectamente utilizando

el vector de pesos sinpticos w (es decir, (a(k))T w 0). As, J nunca es
negativo y si dicho conjunto es vaco entonces J alcanza su valor
mnimo, J = 0.

Mtodo del descenso del gradiente

w (k 1) w ( k ) (k )J
J (a(k ))
kI ( w ) w ( k ) ( k ) a( k )
kI ( w )
Algoritmo de aprendizaje por lotes
del Perceptrn

Paso 0: Inicializacin
Inicializar los pesos sinpticos con nmeros aleatorios del
intervalo [-1,1]. Fijar un valor de parada s. Ir al paso 1 con k=1

Paso 1: (k-sima iteracin) Correccin de los pesos sinpticos

w (k 1) w (k ) (k ) a( k )
kI ( w )

Paso 2: Parada
Si (k ) a( k ) s
kI ( w )
parar.

En otro caso, ir al Paso 1 con k=k+1.

Paso 1 w (k 1) w (k ) (k )a(k )
Una modificacin: La Regla del Bolsillo

Consiste en tener en cuenta el nmero de iteraciones consecutivas del

algoritmo de perceptrn en las cuales no se ha modificado el vector de
pesos sinpticos (para cada uno de los vectores que va generando), es
decir, tener en cuenta el nmero de patrones que se han clasificado
correctamente con dicho vector hasta que se ha encontrado el primer
patrn que clasifica incorrectamente. Se tiene guardado en el bolsillo la
mejor solucin explorada, es decir, el vector de pesos sinpticos
generado que ha conseguido, hasta el momento, el mayor nmero de
iteraciones sin ser modificado. Cuando se encuentra un nuevo vector de
pesos sinpticos que consigue un mayor nmero de clasificaciones
correctas consecutivas que el que hay en el bolsillo entonces el vector del
bolsillo se reemplaza por este. La solucin final viene dada por el vector
de pesos sinpticos guardado en el bolsillo.
 La ADALINA

La ADALINA (tambin llamada ADALINE), pues corresponde al acrnimo

de ADAptive Linear NEuron) o neurona con adaptacin lineal que fue
introducida por Widrow en 1959. Esta neurona es similar al Perceptrn
simple pero utiliza como funcin de transferencia la funcin identidad en
lugar de la funcin signo. La salida de la ADALINA es simplemente una
funcin lineal de las entradas (ponderadas con los pesos sinpticos):
N N 1
y wj x j y wj xj
j 1 j 1

x , x
1 2

,..., x p 1 p k N 1
2
1 p k

E z y k 2
z w j ( k ) x kj
z , z
1 2
,..., z
p 2 k 1 2 k 1 j 1
 La ADALINA
Aprendizaje individualizado: 2


p p N 1
1 1
z k y k z k w j (k ) x j
2
E k

2 k 1 2 k 1 j 1

wr (k 1) wr (k ) wr (k )
E

z k y (k ) x rk wr (k )
wr (k )
 La ADALINA
Aprendizaje por lotes: 2
k

p p N 1
1 1
z k y k z w j x j
2
E k

2 p k 1 2 p k 1
j 1

wr (k 1) wr (k ) wr (k )
E
wr (k )
wr (k )
1 p k

z y (k ) x kj
p k 1

 Neuronas con salida continua:

Regla de aprendizaje de Widrow-Hoff

w1
x1
N
x2
w2
y y g w x j j


w3 j 1
x3

1
g x
1 exp 2 x

e x e x
g x tanh x x
e e x
 Neuronas con salida continua:

Regla de aprendizaje de Widrow-Hoff

2


p p N 1
1 1
z k y k z k g ( w j (k ) x kj )
2
E
2 k 1 2 k 1 j 1

E
w j (k )
w j (k )

z k y (k ) g ' h x kj
 Neuronas con salida continua:

Regla de aprendizaje de Widrow-Hoff

2
k

p p N 1
1 1
y k
2
E z k
z g ( w x k
)
2 p k 1 2 p k 1 j j
j 1

E
w j 1 p k

z y (k ) g ' (h) x kj
w j p k 1