El Perceptrn

1958 - El psiclogo Frank Ronsenblant desarroll un modelo

simple de neurona basado en el modelo de McCulloch y Pitts que
utilizaba una regla de aprendizaje basada en la correccin del error:
Perceptrn

x1
x2
x3

w1
w2

si

w1 x1 w2 x2 ... wn xn

si

w1 x1 w2 x2 ... wn xn

y f ( x1 , x2 ,..., xn )

w3

w1 x1 w2 x2
w1 x1 w2 x2

Funcin paso o De Heaviside

Funcin signo

w1 x1 w2 x2

Qu se pretende con el Perceptrn?

Se dispone de la siguiente informacin:
Conjunto de patrones {xk}, k = 1,2,,p1 , de la clase C1 (zk = 1)
Conjunto de patrones {xr}, k = p1+1,...,p , de la clase C2

(zr = -1)

Se pretende que el perceptrn asigne a cada entrada (patrn xk) la

salida deseada zk siguiendo un proceso de correccin de error (aprendizaje)
para determinar los pesos sinpticos apropiados
Regla de aprendizaje del Perceptrn:

w j (k ) 2x j (k )

w j (k 1) w j (k )

w j (k ) 2x j (k )

w j k (k ) z k y k x j k

si y (k ) 1 y z (k ) 1,
si y (k ) z (k )
si y (k ) 1 y z (k ) 1

error
tasa de
aprendizaje

Cmo se modifica el sesgo ?

w1 x1 w2 x2 ... wn xn
x1
x2
x3
1

w1 x1 w2 x2 ... wn xn wn1 xn1 0

w1
w2

w1 x1 w2 x2 ... wn xn (1) 0

w3

k (k ) z k y k

Algoritmo del Perceptrn

Paso 0: Inicializacin
Inicializar los pesos sinpticos con nmeros aleatorios del intervalo [-1,1].
Ir al paso 1 con k=1
Paso 1: (k-sima iteracin)
n 1

Calcular

y (k ) sgn

w x
j 1

(k )

Paso 2: Correccin de los pesos sinpticos

Si z(k) y(k) modificar los pesos sinpticos segn la expresin:

w j k 1 w j k z i k y i k x j k ,

j 1,2,..., n 1

Paso 3: Parada
Si no se han modificado los pesos en las ltimas p iteraciones, es decir,

w j (r ) w j (k ), j 1,2,..., n 1, r k 1,..., k p
parar. La red se ha estabilizado.
En otro caso, ir al Paso 1 con k=k+1.

Ejemplo
Disea un perceptrn que implemente la funcin
lgica AND
AND
Entradas
(1, 1)

Salidas
1

x1

(1, 1)
1

x2

(1, 1)
1

(1,1)
1
Paso 0: Inicializacin aleatoria

w1 = 0.4,

w2 = 0.2,

= 0.6,

w1
w2

Disea un perceptrn que implemente la funcin

lgica AND

1
1
1

0.3
0.2

0.6

Paso 1:
Patrn de entrada (1,1):

h 0.3(1) 0.2(1) 0.6(1) 1.1

Paso 2: Correccin de los pesos sinpticos

w1 (1) w1 (0) 21 0.3 1 0.7

w2 (1) w2 (0) 2 ( 1) 0.2 1 0.8

(1) (0) 2 (1) 0.6 1 0.4

y=1

Elegimos =0.5

Disea un perceptrn que implemente la funcin

lgica AND

1
1
1

0.7
0.8

0.4

Paso 1:

Patrn de entrada (1,1):

h 0.7(1) 0.8(1) 0.4(1) 0.5

Como y = 1 y z = 1 la clasificacin es correcta

y=1

Disea un perceptrn que implemente la funcin

lgica AND

1
1
1

0.7
0.8

0.4

Paso 1:
Patrn de entrada (1,1):

h 0.7(1) 0.8(1) 0.4(1) 0.3

Paso 2: Correccin de los pesos sinpticos

w1 (2) w1 (1) 2 (1) 0.7 1 0.3

w2 (2) w2 (1) 2 (1) 0.8 1 1.8

(2) (1) 2 (1) 0.4 1 0.6

Elegimos = 0.5

y=1

Disea un perceptrn que implemente la funcin

lgica AND

1
1
1

0.3
1.8

0.6

Paso 1:
Patrn de entrada (1,1):

h 0.3(1) 1.8(1) 0.6(1) 2.1

Paso 2: Correccin de los pesos sinpticos

w1 (3) w1 (2) 2 (1) 0.3 1 1.3

w2 (3) w2 (2) 2 (1) 1.8 1 0.8

(3) (2) 2 (1) 0.6 1 0.4

y=1

Elegimos = 0.5

Disea un perceptrn que implemente la funcin

lgica AND

-1
1
1

1.3
0.8

0.4

Patrn (1,1):

h 1.3(1) 0.8(1) 0.4(1) 2.7

Patrn (1,1):

h 1.3(1) 0.8(1) 0.4(1) 0.1

Patrn (1,1): h 1.3(1) 0.8(1) 0.4( 1) 2.5

Patrn (1,1):

h 1.3(1) 0.8(1) 0.4(1) 0.9

1.3 x1 0.8 x2 0.4 0

Disea un perceptrn que implemente la funcin

lgica AND

1
1
1

1.3
0.8

0.4

Paso 1:
Patrn de entrada (1,1):

h 1.3(1) 0.8(1) 0.4(1) 0.1

Paso 2: Correccin de los pesos sinpticos

w1 (3) w1 (2) 2 (1) 1.3 1 0.7

w2 (3) w2 (2) 2 (1) 0.8 1 1.8

(3) (2) 2 (1) 0.4 1 1.4

y=1

Elegimos = 0.5

Disea un perceptrn que implemente la funcin

lgica AND

1
1
1

0.7
1.8

1.4

Paso 1:
Patrn de entrada (1,1):

h 1.3(1) 0.8(1) 0.4(1) 0.1

Paso 2: Correccin de los pesos sinpticos

w1 (3) w1 (2) 2 (1) 1.3 1 0.7

w2 (3) w2 (2) 2 (1) 0.8 1 1.8

(3) (2) 2 (1) 0.4 1 1.4

y=1

Elegimos = 0.5

El Perceptrn
Dado un conjunto cualquiera de patrones de entrenamiento,
puede el Perceptrn aprender a clasificarlos correctamente?

Problema XOR
Entradas
(1, 1)

Salidas
1
(1, 1)
1
(1, 1)
1
(1,1)
1

(a)

(b)

Conjuntos separables linealmente

Teorema de convergencia del Perceptrn

Si el conjunto de patrones de entrenamiento con sus salidas deseadas,
{x1 ,z1}, {x2 ,z2},,{ xp ,zp},
es linealmente separable entonces el Perceptrn simple encuentra una
solucin en un nmero finito de iteraciones
Demostracin
Como es linealmente separable entonces existen
n

*
w
j x j wn1
j 1
n

w x
j 1

*
j

wn1

si son de la clase C1
si son de la clase C2

w1* , w2* ,..., wn*1

Demostracin

w k 1 w w (k ) z (k ) y(k ) x (k ) w
n 1

j 1

n 1

* 2
j

wj k w
j 1

* 2
j

n 1

j 1

* 2
j

z k y k
2

n 1

x k
j 1

n 1

2 z k y k w j k w*j x j k
j 1

n 1

n 1

j 1

j 1

2 z k y k ( w j (k ) x j k ) 2 z k y k w*j x j k

n 1

2 wj k x j k
j 1

wj k w
n 1
j 1

* 2
j

n 1

x k
j 1

n 1

0 4 w*j x j k
j 1

n 1

2 w*j x j k
j 1

Demostracin

w k 1 w w k w

w k 1 w w k w

4 2 L 4T

n 1

* 2
j

j 1

n 1

* 2
j

j 1

n 1
j 1

* 2
j

n 1
j 1

* 2
j

n 1

x k
j 1

n 1

4 w*j x j k
j 1

T min
1 k p

n 1

L max
1 k p

w k 1 w w k w
n 1
j 1

Si

* 2
j

L T 0

T
L

n 1
j 1

* 2
j

x k
j

j 1

n 1

j 1

*
w
j x j k

4 (L T )

w k 1 w w k w
n 1
j 1

* 2
j

n 1
j 1

* 2
j

Tasa de aprendizaje ptima

Se trata de elegir de la tasa de aprendizaje manera que se
produzca un mayor decrecimiento del error en cada iteracin
Error cuadrtico en la iteracin k+1
E ( ) D(k 1) D(k ) 4

n 1

x k
j 1

n 1

D k 1 w j k 1 w*j
j 1

n 1

n 1

j 1

j 1

4 w j k x j k 4 w*j x j k

n 1
n 1
n 1
E
2
8 x j k 4 w j k x j k 4 w*j x j k 0

j 1
j 1
j 1

n 1

opt

n 1

w kx k w x k
j 1

n 1

j 1

2 x j k
j 1

*
j

Tasa de aprendizaje ptima

n 1

opt

n 1

n 1

w kx k w x k
j 1

n 1

j 1

2 x j k

*
j

~opt

w kx k
j

j 1

n 1

xj k

j 1

j 1

n 1

n 1

j 1

j 1

2 w j (k ) x j k z k y k w j (k ) x j k

n 1

~opt

z (k ) y (k ) w j k x j k
j 1

n 1

2 x j k
j 1

Regla de aprendizaje normalizada

n 1

w j (k 1) w j k

z k y k w j k x j k
j 1

n 1

2 x j k

j 1

n 1

w j (k 1) w j k 2

w kx k
j 1
n 1

x k
j 1

xj k

z k y k x j k

Regla de aprendizaje normalizada

n 1

w (k 1) w j (k 1) 2
2

j 1

n 1

n 1

w j (k ) x j (k ) 2

j 1
j 1

n 1

w j (k ) 2 1
j 1

w
j 1

n 1

(k ) x j (k )

n 1

x
j 1

n 1

(k ) 2

w
j 1

(k ) x j (k )

n 1

x
j 1

(k ) 2

n 1

w
i 1

(k ) x j (k )

Interpretacin de la regla de aprendizaje del

Perceptrn
n 1

w x wj x j 0
T

j 1

x C1

y sgn(w T x) z , x C1 C 2

n 1

w x w j x j 0 x C2
T

j 1

w (k ) a(k ) si (a(k ))T w (k ) 0

w (k 1)
en otro caso
w (k )

x(k ) si z (k ) 1

a(k)

x(k ) si z (k ) 1

Se realizan las correcciones siempre y cuando se producen clasificaciones

incorrectas, es decir,

(a(k ))T w (k ) 0

Interpretacin de la regla de aprendizaje del Perceptrn

Se realizan las correcciones siempre y cuando se producen clasificaciones
incorrectas, es decir,
w(k+1)

a(k)

a(k)

(a(k )) w (k ) 0
T

w(k)
+

(a(k ))T w (k ) 0

Deduccin de la regla de aprendizaje

La regla de aprendizaje del Perceptrn intenta encontrar una
solucin w* para el siguiente sistema de desigualdades:

a( k ) T w 0

Funcin criterio:

J (w )

k =1,2,,p

T
a
(
k
)
w

kI ( w )

I(w) es el conjunto de patrones clasificados incorrectamente utilizando

el vector de pesos sinpticos w (es decir, (a(k))T w 0). As, J nunca es
negativo y si dicho conjunto es vaco entonces J alcanza su valor
mnimo, J = 0.

Mtodo del descenso del gradiente

J

(a(k ))

kI ( w )

w (k 1) w ( k ) (k )J
w ( k ) ( k ) a( k )
kI ( w )

Algoritmo de aprendizaje por lotes

del Perceptrn
Paso 0: Inicializacin
Inicializar los pesos sinpticos con nmeros aleatorios del
intervalo [-1,1]. Fijar un valor de parada s. Ir al paso 1 con k=1
Paso 1: (k-sima iteracin) Correccin de los pesos sinpticos

w (k 1) w (k ) (k )

a( k )

kI ( w )

Paso 2: Parada
Si

(k )

a( k ) s

parar.

kI ( w )

En otro caso, ir al Paso 1 con k=k+1.

Paso 1

w (k 1) w (k ) (k )a(k )

Una modificacin: La Regla del Bolsillo

Consiste en tener en cuenta el nmero de iteraciones consecutivas del
algoritmo de perceptrn en las cuales no se ha modificado el vector de
pesos sinpticos (para cada uno de los vectores que va generando), es
decir, tener en cuenta el nmero de patrones que se han clasificado
correctamente con dicho vector hasta que se ha encontrado el primer
patrn que clasifica incorrectamente. Se tiene guardado en el bolsillo la
mejor solucin explorada, es decir, el vector de pesos sinpticos
generado que ha conseguido, hasta el momento, el mayor nmero de
iteraciones sin ser modificado. Cuando se encuentra un nuevo vector de
pesos sinpticos que consigue un mayor nmero de clasificaciones
correctas consecutivas que el que hay en el bolsillo entonces el vector del
bolsillo se reemplaza por este. La solucin final viene dada por el vector
de pesos sinpticos guardado en el bolsillo.

La ADALINA
La ADALINA (tambin llamada ADALINE), pues corresponde al acrnimo
de ADAptive Linear NEuron) o neurona con adaptacin lineal que fue
introducida por Widrow en 1959. Esta neurona es similar al Perceptrn
simple pero utiliza como funcin de transferencia la funcin identidad en
lugar de la funcin signo. La salida de la ADALINA es simplemente una
funcin lineal de las entradas (ponderadas con los pesos sinpticos):
N 1

y wj x j

y wj xj

j 1

x , x
z , z
1

,..., z

,..., x p

1 p k
E z y k
2 k 1

j 1

1 p k N 1
z w j ( k ) x kj
2 k 1
j 1

La ADALINA
Aprendizaje individualizado:

1
z k y k

2 k 1

N 1

1
z k w j (k ) x j

2 k 1
j 1

wr (k 1) wr (k ) wr (k )

z k y (k ) x rk

wr (k )

E
wr (k )

La ADALINA
Aprendizaje por lotes:

1
E
z k y k

2 p k 1

1
k

z w j x j

2 p k 1
j 1

N 1

wr (k 1) wr (k ) wr (k )

1 p k
z y (k ) x kj
p k 1

wr (k )

E
wr (k )

Neuronas con salida continua:

Regla de aprendizaje de Widrow-Hoff
x1
x2
x3

w1
w2
w3

y g

w x
j 1

g x

1
1 exp 2 x

e x e x
g x tanh x x
e e x

Neuronas con salida continua:

Regla de aprendizaje de Widrow-Hoff

w j (k )

E
w j (k )

1
z k y k

2 k 1

N 1

1
z k g ( w j (k ) x kj )

2 k 1
j 1

z k y (k ) g ' h x kj

Neuronas con salida continua:

Regla de aprendizaje de Widrow-Hoff

1
k
z
y k

2 p k 1

E
w j
w j

1
k

g
(
w
x
)

j j

2 p k 1
j 1

N 1

1 p k
z y (k ) g ' (h) x kj
p k 1