CIMEPB - Centro de Procesos Bsicos, Metodologa y

Educacin
Facultad de Psicologa U.N.M.D.P.
En base a A Practical Guide to Neural Nets
M. Nelson y W. Illingworth
REDES NEURONALES
Dr. Jorge Vivas
El elemento de Proceso Simple (PE)
O Neurona Artificial
Entradas 1
2 Salida
3
4


A) LOS COMPONENTES
BSICOS
PE
Evaluar seales de entrada determinando en peso de
cada una.

Calcula el total para cualquier combinacin de entradas
y lo compara para cualquier nivel.

Determina que salida debe realizar

1) FUNCIONES
(3 de las 150 funciones reales)
Las E ingresan simultneamente al PE. De acuerdo a
un umbral la neurona dispara o no una salida. Varias
Entradas una sola Salida.
Algunas Redes aceptan la inclusin de mecanismos
para otras influencias distintas de las Entradas.
Estos extra-inputs se llaman trminos de
predisposicin o forzamiento. Incluye los de olvido
para desaprender.


2) ENTRADAS Y SALIDAS

Cada Entrada puede tener un Peso relativo que
afecta el impacto como entrada.

Los Pesos son Coeficientes Adaptativos dentro de
la red. Determinan la intensidad de la Entrada (Fuerza
de la conexin).

El Peso inicial para un PE puede ser modificado en
funcin de las E y las propias reglas de modificacin
de la red.

3) FACTOR PESO
La Entrada Total en un PE es el producto de dos
vectores: (e1 , e 2, e 3 . . . e n) y (P1 , P2, P3 . . . Pn)
E1 = e1 * P1 ; E2 = e1 * P1 etc
La Entrada Total es el escalar E1 + E2 . . .En.
Donde: Si los vectores van en el mismo sentido el
producto es el mximo. Si apuntan en sentidos
opuestos el producto es mnimo.
3) FACTOR PESO
Si eX * PX es mayor que el umbral entonces
genera una seal de salida.
e1 P1
e2 P2 S = eX * PX

e3 p3
p4
e4
4) FUNCIONES NEURONALES
a) Funcin Sumatoria
El resultado de la debera ingresar a una Funcin de
Activacin antes que a una funcin de Transferencia. Esto
permite variar la salida en funcin del tiempo y la
experiencia
e1 P1
e2 P2 S = eX * PX

e3 p3
p4
e4
4) FUNCIONES NEURONALES
b) Funcin de Activacin

T

El Umbral o Funcin de Transferencia es
generalmente no lineal. Las funciones lineales son
limitadas y no muy tiles (x or) para decidir si se
prende una clula fotoelctrica.
Las Funciones de Transferencia ms utilizadas son
las escalonadas, en rampa o las sigmoideas.
O las decisiones en base a lgica difusa.
4) FUNCIONES NEURONALES
c) Funcin de Transferencia

1 1

1
-1

X < 0 ^ Y = -1 X < 0 ^ Y = 0 Y = 1 / (1 + e
x
)
X > 0 ^ Y = 1 0 X 1 ^Y = X
X > 1 ^ Y = 1


4) FUNCIONES NEURONALES
c) Funcin de Transferencia
5) COMBINANDO ELEMENTOS
PEs
Si se combinan varios PEs da lugar a una capa.
Las entradas se conectan a varios nodos (Pes) con
distinto peso. La salida sigue por un nodo.



Una Capa
6) COMBINANDO CAPAS
Se pueden interconectar varias capas. La capa que
recibe las entradas se llama capa de entrada y su
funcin es un buffer de inputs. La capa de salida
genera los outputs.
Entre una y otra puede haber n capas ocultas.
Las interconexiones se ponderan por un peso
asociado a cada conexin particular.
Una red es full connected si para cada salida de una
capa existe una conexin para cada nodo de la prxima
capa.

6) COMBINANDO CAPAS
7) OPCIONES DE
CONECTIVIDAD
La conectividad alude a como las salidas pueden ser
usadas como canales para ser entradas de otras
neuronas:

1. Si la salida de un PE no puede ser entrada de un PE
de la misma capa o de capas precedentes de llama
feedforward.

2. Si una salida puede ser entrada de su misma capa o
de capas precedentes se llama feedback.
(Recursivas).


8) FILTROS
Las capas pueden actuar como filtros generando
representaciones intermedias. Ej. La Matriz de puntos de la
letra A (5 por 7).
La salida activa una representacin ASCII 0100 0001

. . . .
. . .
. . .
. . .

. . .
. . .


B) LOS MECANISMOS BSICOS
DE APRENDIZAJE
La Funcin de Transferencia se establece en el diseo y
no puede ser modificada durante la ejecucin (para cada
PE).
Cada PE puede ajustar su peso dinmicamente
Cuando muchos PEs ajustan su peso colectivamente
se dice que la red se ensambla inteligentemente.
Esto se logra por medio de distintos mecanismos de
Aprendizaje
MODOS Y RANGOS DE
APRENDIZAJE
Los Modos aprendizajes pueden ser:
1. Supervisado: Con un tutor que REFUERZA hasta
congelar los pesos.
2. No supervisado: Aprende de detectar regularidades.
Los Rangos de aprendizaje pueden ser:
1. Rpido: Poco training Discriminacin baja.
2. Lento: Mucho training (off line) Discriminacin fina.
El rango es una medida de CONVERGENCIA de la red

TCNICAS DE ENTRENAMIENTO
Las Redes Aprenden la relacin entre Entradas y
Salidas mirando ejemplos de varias Entradas y Salidas.

La habilidad para determinar como procesar los datos
de entrada se llama autoorganizacin.

El proceso por el cual lo logran se denomina adaptacin o
aprendizaje
LEYES DE APRENDIZAJE
Ley de Hebb y Regla Delta
Ley de Hebb:
Si un PE recibe un input de otro PE y si ambos son
altamente activos (= signo), el peso entre los PEs debera
potenciarse

Regla DELTA:
Para un PE la regla continuamente modifica el nivel de
discrepancia (DELTA) entre el output deseado y el output
real corriente (Ej. Windrow & Hoff Adaline)

LEYES DE APRENDIZAJE
Regla del descenso y Kohonen
Regla del descenso del gradiente:
Los pesos son modificados por un monto proporcional a la
primera derivada del error respecto del peso.
Ley de Aprendizaje de Kohonen:
Los PEs compiten entre s para tener oportunidad de
aprendizaje. El PE con mayor salida se declara ganador y
obtiene la posibilidad de: 1) inhibir a los competidores 2) ajustar
sus pesos con los de sus vecinos (aliados).
El ganador se define como quien tienen la mas estrecha
coincidencia con los patrones de entrada. Las leyes Kohonen
modelan la distribucin de los inputs.

LEYES DE APRENDIZAJE
Propagacn hacia atrs
Aprendizaje Back Propagation (dos fases con 3 o ms
capas):

1) Fase Forward: El input es propagado hacia la salida.
Calcula el valor del output para cada PE. Se compara
con el valor deseado y se calcula el error.

2) Fase Backward: el error es ejecutado en direccin
hacia atrs.

LEYES DE APRENDIZAJE
Red de Grossberg
Teora del Refuerzo (Simula Pavlov):

El PE es condicionado para que ciertos inputs trabajen
como REFUERZOS y otros como INHIBIDORES.

La salida se mide por frecuencia ms que por intensidad




c) Qu podemos hacer con Redes
Neuronales? Aplicaciones
Reconocimiento de Caracteres: El reconocimiento de caracteres es cada vez ms importante en
nuestra sociedad. Los dispositivos manuales como la Palm Pilot son cada vez ms populares. Las
redes neuronales se pueden utilizar para reconocer caracteres manuscritos.
Medicina: Una de las reas que ha ganado la atencin es el diagnstico cardiopulmonar. Un
paciente puede tener chequeos regulares en un rea particular, aumentando la posibilidad de
detectar una enfermedad o una disfuncin. Los datos pueden incluir ritmo cardaco, la presin
arterial, el ritmo respiratorio, etc. Los modelos pueden incluir variaciones de edad, sexo y actividad
fsica. Los datos de cada individuo se comparan con los datos anteriores y/o a los datos de los
varios modelos genricos. Las desviaciones de la norma se comparan a las causas sabidas de las
desviaciones para cada dolencia. La red neuronal puede aprender estudiando las diversas
condiciones y modelos, combinndolos para formar un cuadro conceptual completo y despus
diagnostica la condicin de un paciente basada sobre los modelos.
Compresin de imagen: La redes neuronales pueden recibir y procesar extensas cantidades de
informacin inmediatamente, hacindolas tiles en la compresin de imagen. Con la explosin del
Internet y ms sitios usando ms imgenes en sus sitios, las redes son una alternativa eficaz.
c) Qu podemos hacer con Redes
Neuronales? Aplicaciones
El problema del viajante: Es bastante interesante. Las redes pueden ayudar a resolver estos
problemas de optimizacin, pero solo hasta cierto grado de aproximacin.
La nariz electrnica: La idea de una nariz qumica puede parecer un poco absurda, pero tiene
varios usos en el mundo real. La nariz electrnica se compone de un sistema de deteccin qumico
y de una red que reconoce ciertos patrones de productos qumicos. Un olor se pasa sobre el arsenal
qumico del sensor, se traducen de formato y la red identifica el producto qumico.
Seguridad: Ya de usa el CATCH. U n acrnimo para el seguimiento y caracterizacin de
homicidios. Aprende sobre un crimen existente, su localizacin y las caractersticas particulares. Se
subdivide en diversas herramientas, que ponen nfasis en una caracterstica o grupo de ellas.
Permite que el usuario quite ciertas caractersticas que determine que no tienen relacin.
Prediccin de la bolsa: El negocio cotidiano de la bolsa es extremadamente complicado. Muchos
factores pesan para que una accin suba o baje en cualquier momento. Dado que las redes
neuronales pueden examinar mucha informacin rpidamente y ordenarla, pueden ser utilizadas
para predecir precios de las acciones.