Aplicación de las ANNs

(continuación)
REDES HAMMING
La red Hamming fue diseñada explícitamente para resolver problemas de reconocimiento de patrones binarios, (en el
ejemplo, 1 y –1).

Este tipo de red contiene capas de conexión hacia adelante y recurrentes (de retroalimentación).

La red Hamming estandar:

El número de neuronas en la segunda capa es el mismo que el de la primera capa.

 Aplicación de las ANNs
La red Hamming decide cuál vector prototipo es más cercano al vector de entrada.

Hay una neurona en la capa recurrente para cada patrón prototipo. Cuando la capa recurrente converge
habrá una sóla neurona con salida distinta de cero. Esta neurona indica el patrón prototipo que está más
cercano al vector de entrada.

Capa hacia adelante

Esta capa realiza el producto interno entre cada patrón prototipo y el patrón de entrada. En esta operación,
las filas de la matriz de pesos están formadas por los patrones prototipos.

Para el ejemplo de las naranjas y manzanas:

 Aplicación de las ANNs
Esta capa usa una función de transferencia lineal y cada elemento del vector de sesgo es igual a R, donde R es el número de
elementos en el vector de entrada.

El vector de sesgo de nuestro ejemplo:

Con esos pesos y esos sesgos, la salida de la capa es:

Las salidas de la capa de conexión hacia adelante son el producto interno de cada vector prototipo con el
vector de entrada, más R.

El producto interno será mayor cuando los vectores apuntan a la misma dirección y más pequeño cuando apuntan en
dirección opuesta
 Aplicación de las ANNs
Al agregar R al producto interno se garantiza que las salidas de la capa sean no negativas (se requiere para la operación
adecuada de la capa recurrente).

La red se llama Hamming debido a que la neurona con la mayor salida, en esta capa, corresponderá al patrón prototipo
más cercano en distancia Hamming al patrón de entrada.

La distancia Hamming entre dos vectores es igual al número de elementos que son diferentes (definida para vectores
binarios).

Capa recurrente
Esta capa es conocida como una capa “competitiva”.
Las neuronas de esta capa se inicializan con las salidas de la capa de conexión hacia adelante, las cuales indican la
correlación entre los patrones prototipos y el vector de entrada.

Las neuronas compiten para determinar una ganadora. Después de la competencia, solo una neurona tiene salida
distinta de cero.

La ganadora indica cuál categoría fue presentada como entrada (categoría de manzanas o naranjas).

Las ecuaciones que describen la competencia:

a2 (0) = a1 (condición inicial) y a2(t+1) = poslin(W2a2(t))

La función de transferencia poslin es lineal para valores positivos y cero para los negativos.
 Aplicación de las ANNs
W2 es de la forma:

S es el número de neuronas en la capa recurrente.

Una iteración de la red recurrente será:

Cada elemento se reduce en la misma fracción del otro. El mayor elemento será reducido menos y el menor
será reducido más, por lo tanto la diferencia entre el grande y el pequeño se incrementa.
 Aplicación de las ANNs
El efecto de la capa recurrente es poner cero en las salidas de sus neuronas, a excepción de aquella con el valor inicial
más grande (la cual corresponde al patrón prototipo que está más cerca en distancia Hamming a la entrada).

Para ilustrar la red Hamming, consideremos la naranja alargada:

La salida de la capa de conexión hacia adelante:

Esta es la condición inicial para la capa recurrente.

 Aplicación de las ANNs
Con є = ½ (cualquier número menor que 1 trabajaría) la primera iteración de la capa recurrente produce:

La segunda iteración produce:

Las iteraciones sucesivas producen las mismas salidas, es decir la red converge.

El patrón prototipo número 1 es seleccionado como la fruta correcta, la naranja, dado que la neurona número 1 tiene
la única salida no cero.
 Aplicación de las ANNs
Esta es la selección correcta, dado que la distancia Hamming del prototipo naranja al patrón de entrada es 1, y la
distancia Hamming del prototipo manzana al patrón de entrada es 2.

Hay redes cuya operación está basada en el principio de la red Hamming, es decir, realizan una operación de
producto interno seguido por una capa dinámica competitiva. Esas son las redes auto-organizantes, las cuales
aprenden a ajustar sus vectores prototipos a partir de las entradas que le son presentadas.
 Aplicación de las ANNs
(continuación)
REDES HOPFIELD
Esta es una red recurrente similar en algunos aspectos a la capa recurrente de la red Hamming, pero que realiza las
operaciones de las dos capas de esa red.

Las ecuaciones que describen la operación:

a(0) = p (condición inicial)

a(t+1) = satlins(Wa(t)+b)
 Aplicación de las ANNs
Las neuronas en esta red se inicializan con el vector de entrada.

Se itera hasta que la salida converge.

Si la red opera correctamente, la salida es uno de los vectores prototipos (en la red Hamming la neurona con
salida no cero indica el patrón prototipo escogido).

La Hopfield produce el prototipo seleccionado como su salida.

La función de transferencia es lineal en el rango [-1, 1] y se satura en 1 para entradas > 1 y en –1 para entradas
<-1.

El problema de reconocimiento de naranjas y manzanas

Supongamos que W después de entrenada es:
 Aplicación de las ANNs
Se desea que la salida de la red converja al patrón naranja P1 o al patrón manzana P2.

En los dos patrones, el primer elemento es 1 y el tercer elemento es –1.

Las diferencias entre los patrones ocurre en el segundo elemento.

Sin importar el patrón de entrada, queremos que el primer elemento del patrón de salida converja a 1, el tercer
elemento converja a –1, y el segundo elemento sea 1 ó –1, lo que esté más cercano al segundo elemento del
vector de entrada.

Ecuaciones de operación de la red Hopfield:

a1(t+1) = satlins(0.2a1(t) + 0.9)

a2 (t+1) = satlins(1.2a2(t))
a3(t+1) = satlins(0.2a3(t) - 0.9)

Independientemente de los valores iniciales, ai(0), el primer elemento se incrementará hasta saturarse en 1, y el
tercer elemento se decrementará hasta saturarse en –1.

El segundo elemento se multiplica por un número mayor que 1. Por lo tanto si es inicialmente negativo,
eventualmente se saturará a –1, y si es inicialmente positivo se saturará a 1.
Trabajando con la naranja ovalada para revisar la capacidad
de la red Hopfield
Las salidas para las tres primeras iteraciones:

La red converge al patrón naranja como lo hicieron las redes perceptrónica y la Hamming.
 Resumen
La red perceptrónica tiene una única salida, que toma valores –1 (naranja) o 1 (manzana).

En la red Hamming, la neurona cuya salida es distinta de cero indica el patrón prototipo más cercano al vector de
entrada. Si la primera neurona tiene salida distinta de cero, se tiene una naranja, y si la segunda neurona tiene
salida distinta de cero, se tiene una manzana.

En la Hopfield, el patrón prototipo aparece en la salida de la red.

Las redes recurrentes pueden oscilar y tener comportamiento caótico.

El perceptrón es un ejemplo de las redes de conexión hacia adelante. En esas redes la salida se calcula directamente de la
entrada, es decir, no hay realimentación.
Las redes de conexión hacia adelante se utilizan para reconocimiento de patrones y para aproximación de funciones.

Las redes competitivas representadas por las Hamming tienen dos propiedades: Calculan una medida de distancia entre
los patrones prototipos almacenados y el patrón de entrada. Luego realizan una competencia para determinar cuál
neurona representa el prototipo más cercano a la entrada.

Las redes recurrentes como la de Hopfield se han usado como memorias asociativas, en las cuales los prototipos
almacenados se recuperan por asociación con los datos de entrada.
 Referencias
Cualquier libro, página web, blog, paper o pdf que trate las Redes Neuronales Artificiales.

Martin Hagan, Howard Demuth y Mark Beale. Neural Network Design. PWS Publishing
Company, 1996.

José Hilera y Victor Martínez. Redes Neuronales Artificiales, Fundamentos, Modelos y

Aplicaciones. Alfaomega RA-MA, 2000
.
Simon Haykin. Neural Networks. A Comprehensive Foundation. MacMillan Publishing.

Robert Hecht-Nielsen. Neuroncomputing. Addison Wesley.

Bart Kosko. Neural Networks and Fuzzy Systems. Prenticell Hall.