EjEmplos rEsuEltos (ContinuaCin)

P7.4 Dados los siguientes patrones prototipos

i) Use la regla de Hebb para disear una red perceptron que reconozca
estos tres patrones.
ii) Encuentre la respuesta de la red al patrn P_t que se muestra arriba.
La respuesta es correcta?
i) Podemos convertir los patrones a vectores, como se ha hecho en problemas
anteriores, para obtener

Ahora necesitamos elegir los vectores de salida deseados para cada vector
prototipo de entrada. Como existen tres vectores prototipos de entrada que
necesitamos distinguir, necesitaremos dos elementos en el vector de salida.
Podemos elegir las tres salidas deseadas como:
(Ntese que esta eleccin fue arbitraria. Cualquier combinacin de 1 &
-1 podra haber sido elegido para cada vector).
La red resultante se muestra en la figura siguiente:
El siguiente paso es determinar la matriz de pesos usando la regla de
Hebb.

ii) La respuesta de la red al patrn prueba de entrada es calculado

como sigue
As, la respuesta de la red indica que el patrn de prueba de entrada es
ms cercano a P_1. Esta respuesta es correcta porque la distancia de
Hamming a P_1 es 1, mientras que la distancia a P_2 y a P_3 es 3.
P7.5. Supngase que se tiene un autoasociador lineal que ha sido
diseado para Q vectores prototipos ortogonales de longitud R usando
la regla de Hebb. Los elementos del vector son 1 & -1.
i) Muestre que los Q patrones son eigenvectores de la matriz de
pesos.
ii) Qu son los otros (R-Q) eigenvectores de la matriz de pesos?

i) Supngase que los vectores prototipos son Como se

trata de un autoasociador, ellos son tanto los vectores de entrada como
los vectores de salida deseados, por tanto
Si usamos la regla de Hebb para calcular la matriz de pesos
encontramos

Ahora, aplicando un vector prototipo como entrada a la red obtenemos

Como los patrones son ortogonales, esto se reduce a

Luego, como cada elemento de P_k es -1 1, se tiene que

y
Por lo que P_k es un eigenvector de w y R es su correspondiente
eigenvalor. Cada vector prototipo es un eigenvector con el mismo
eigenvalor.

ii) Note que el R eigenvalor repetido tiene un eigenespacio Q-

dimensional asociado: el subespacio generado por los Q vectores
prototipos. Ahora, considere el espacio que es ortogonal a este
eigenespacio. Cada vector en este subespacio debera ser ortogonal a
cada vector prototipo. La dimensin del subespacio ortogonal ser R-Q.
Sea el siguiente conjunto una base para este espacio ortogonal

Si aplicamos cualquiera de estos vectores base a la red obtenemos

Porque cada z_k es ortogonal a cada P_q. Esto implica que cada z_k es
un eigenvector de W con eigenvalor 0.

Para resumir, la matriz de pesos tiene dos eigenvalores, R y 0. Esto

significa que cualquier vector en el espacio generado por los vectores
prototipos ser amplificado por R, mientras que cualquier vector que es
ortogonal a los vectores prototipos se convertirn en Cero.
P7.6 Las redes que hemos usado hasta ahora en este captulo no
incluyen un vector bias. Considere el problema de disear una red
perceptron para reconocer los siguientes patrones.
i) Porqu se requiere un bias para resolver este problema?
ii) Use la regla de la pseudoinversa para disear una red con bias para
resolver este problema.
i) Recordemos que la frontera de decisin para la red perceptron es la
lnea definida por Wp + b = 0. Si no hay bias, i.e. b = 0, la frontera est
definida por Wp = 0; el cual es una lnea que debe pasar por el origen.
Ahora consideremos los dos vectores, P_1 & P_2, dados en este
problema.
Es claro que ninguna frontera de decisin que pase a travs del origen
podra separar estos dos vectores. Por lo tanto se requiere de un bias
para resolver este problema.
ii) Para usar la regla de la pseudoinversa (o la regla de Hebb) cuando
existe un trmino bias, podramos tratar al bias como otro peso, como
una entrada de 1 (como se muestra en todas las figuras de redes).
Entonces aumentamos los vectores de entrada con un 1 como el ltimo
elemento.

Elegimos las salidas deseadas como ; as que

Ahora formamos la matriz pseudoinversa

Entonces se calcula la matriz de pesos aumentada

Podemos entonces separar la matriz de pesos estndar y el bias

Por lo tanto la frontera de decisin es
P7.7 En todos nuestros ejemplos de reconocimiento de patrones hasta
ahora, hemos representado los patrones como vectores usando 1 &
-1, para representar pixeles oscuros y claros (elementos de la figura)
respectivamente. Qu ocurre si se usa 1 y 0? Cmo debera
cambiar la regla de Hebb?

Primero introduzcamos alguna notacin para distinguir las dos

diferentes representaciones (usualmente referidos como la
representacin bipolar {1,-1} y la representacin binaria {0,1}). La
representacin bipolar de los vectores prototipos de entrada/salida
ser denotado por

y la representacin binaria por

La relacin entre las dos representaciones est dado por

Donde 1 es un vector de unos.

Luego, determinemos la forma de la red asociativa binaria. Usaremos la
siguiente red

Esta difiere
de la red del
perceptron.
El siguiente paso es determinar la matriz peso y el vector bias para esta
red. Si deseamos que la red anterior tenga la misma respuesta efectiva
como una red bipolar entonces la entrada de la red n debera ser la
misma par ambas redes i.e.
Esto garantiza que siempre que la red bipolar produzca un 1 la red
binaria producir un 1 y -1 cuando la binaria produzca un 0.
Sustituyendo a p como una funcin de p encontramos

As, para obtener los mismos resultados que la red bipolar deberamos
elegir

Donde W es la matriz de pesos bipolar.

THE END