Red neuronal Hopfield y Hamming

Visión por computadora

Presenta:
Br. Andrés Enrique Carrillo Castillo.
 Imágenes y sistemas inteligentes

Introducción

2
 Introducción

3
 Redes Neuronales
Al igual que las redes de neuronas biológicas, una red
neuronal artificial puede:
𝐴𝑝𝑟𝑒𝑛𝑑𝑒𝑟 → 𝐿𝑢𝑒𝑔𝑜 𝑑𝑒 𝑠𝑒𝑟 𝑒𝑛𝑡𝑟𝑒𝑛𝑎𝑑𝑎
Introducción Para:
■ Encontrar soluciones
■ Reconocer patrones
■ Clasificar datos
■ ‘Predecir’ eventos futuros

4
 Redes Neuronales
Las redes neuronales son una herramienta muy poderosa en
aplicaciones en donde el análisis formal debería ser
Introducción extremadamente difícil.

5
 Redes Neuronales

El comportamiento de una red neuronal es definido por la

Introducción forma en que sus elementos están conectados entre sí, y por
el peso de esas conexiones.
Los pesos son ajustados automáticamente por el
entrenamiento de la red de acuerdo con una regla específica
de aprendizaje, hasta que ésta llegue al nivel de error deseado

6
 Redes Neuronales
En cualquier sistema neuronal, se caracterizan tres tipos de
neuronas: Entrada, salida y ocultas.
Introducción Neuronas de entrada: Reciben señales desde el entorno, las que
pueden ser provenientes de sensores o de otros sectores del
sistema
Neuronas de salida: Envían la señal fuera del sistema. Pueden
controlar directamente potencias u otros sistemas.
Neuronas ocultas: Aquellas cuyas entradas y salidas se
encuentran dentro del sistema, sin contacto con el exterior.
Se conoce como capa o nivel, al conjunto de neuronas cuyas
entradas provienen de la misma fuente (pudiendo ser otra capa
de neuronas), y cuyas salidas se dirigen al mismo destino
(también pudiendo ser otra capa de neuronas)
7
 Uno de los principales responsables del desarrollo que ha experimentado la
computación neuronal ha sido J. Hopfield, quien construyó un modelo de
red con el número suficiente de simplificaciones como para poder extraer
información sobre las características relevantes del sistema.

Red neuronal Hopefield

La red de Hopfield es una red monocapa, utilizan aprendizaje no
supervisado, también se puede mostrar como una red dos capas, la
primera capa sería una capa de sensores y la segunda capa será donde se
realiza el procesamiento.
Estas redes pueden usarse como un modelo sencillo para explicar como
ocurren las asociaciones entre ideas en las redes de neuronas del cerebro

8
Red neuronal Hopefield
Una red de Hopfield funciona como una memoria asociativa.
Después de entrenarse con un conjunto de ejemplos, un nuevo
estímulo le causa a la red “asentarse” en un patrón de
activación correspondiente al ejemplo de entrenamiento que
se parece más al nuevo estímulo. Esto es, se alimenta de un
patrón de entrada y se observa su salida. La salida vuelve a
alimentar a la red y se ve la nueva salida.
Memoria auto-asociativa.- Se trata simplemente de asociar dos
patrones y se establecen correspondencias entre ellas.

9
 Esta red consiste en un conjunto de N elementos de procesado
interconectadas que actualizan sus valores de activación de
forma asíncrona e independiente del resto de los elementos de
procesado.
Todos los elementos son a la vez de entrada y salida.
Red Hopefield -
Características
Es una estructura en donde la matriz de pesos es cuadrada y
simétrica. Es decir los pesos de un PE (Patrón de entrada) a
otro tiene el mismo valor en ambas direcciones.
Cada patrón de entrada está conectado con todos los demás,
incluso con si mismo, pero el valor de dicha conexión es 0,
significando que el PE no se realimenta a si mismo.
Es una red discreta con entradas y salidas binarias: 0/1 o -1/1

10
 Existen varios problemas asociados a la red Hopfield.
Número limitado de entradas en la etapa de aprendizaje: Si se
almacenan demasiadas informaciones, durante su
funcionamiento la red puede converger a valores de salida
diferentes de los aprendidos, con lo que la tarea de asociación
Red Hopefield –
entra la información presentada y alguna de las almacenadas
Limitaciones
se realiza incorrectamente.
El número máximo de patrones no correlacionados que puede
almacenar es igual al 15% del número de neuronas de la red.

11
 Las aplicaciones más conocidas de este modelo destacan
las relacionadas con el reconocimiento de imágenes y de
voz.
Red Hopefield – Para problemas de optimización se ha aplicado para la
resolución de manipulación de grafos, procesado de señales
Aplicaciones (conversores analógico-digitales) y de imágenes, etc.

12
 Red Hopfield - Estructura

13
 La red de Hamming es el ejemplo más simple de una red
competitiva.
Las neuronas en la capa de salida de una red Hamming

Red neuronal Hamming

compiten entre sí para determinar cual es la ganadora.
La cual indica que patrón prototipo es el más representativo de
los patrones de entrada.

La competencia es efectuada por inhibición lateral (Un

conjunto de conexiones negativas entre las neuronas en la
capa de salida).
Existen redes auto-organizativas (no supervisadas), las cuales
combinan la característica de competencia y diversas reglas de
aprendizaje asociativo.

14
Red neuronal Hamming

La red de Hamming consiste de dos capas. La primera realiza

una correlación entre el vector de pesos y los vectores
prototipo; y la segunda realiza una competencia para
determinar cual de los vectores prototipos es el más cercano al
vector de entrada.
15
 ■ En cada iteración, la salida de cada neurona disminuirá
proporcionalmente a la suma de las salidas de las otras

Red neuronal Hamming

neuronas (mínimo de cero).
■ La salida de la neurona con la condición inicial más alta
disminuirá más lentamente que las salidas de las otras
neuronas.
■ Con el tiempo dicha neurona será la única que tenga una
salida positiva.
■ Cuando esto sucede se dice que la red ha alcanzado su
estado estable.
■ El índice de la neurona de la segunda capa con una salida
positiva y estable es el índice del vector prototipo que mejor
reproduce la entrada.

16
 ■ Aprendizaje no supervisado tipo competitivo.
■ Es una de las redes más simples de tipo competitiva.
■ Las neuronas en la capa de salida compiten para
Red Hamming -
Características determinar la ganadora.
■ La neurona ganadora indica cual es el patrón prototipo más
representativo del patrón de entrada.
■ La competencia se implementa a través de inhibiciones
laterales; es decir un conjunto de conexiones negativas
laterales entre las neuronas en la capa de salida.
■ Son clasificadores adaptativos eficientes

17
 Las redes Hopfield y Hamming son redes conexionistas
más antiguas que se utilizan para clasificar datos de
entrada binarios ruidosos.

Conclusiones Las redes Hopfield son la base de las redes de Hamming, y

debido a que estas últimas poseen un proceso multicapa
generalmente superan a las redes Hopfield.
Estas redes se utilizan generalmente para el
reconocimiento de voz y recuperación de imágenes,
aunque también para el reconocimiento facial después de
ser entrenadas correctamente.

18