REDES NEURONALES

Dr. Jorge Vivas

CIMEPB - Centro de Procesos Básicos, Metodología y

Educación
Facultad de Psicología – U.N.M.D.P.
En base a A Practical Guide to Neural Nets
M. Nelson y W. Illingworth
A) LOS COMPONENTES BÁSICOS

El elemento de Proceso Simple (PE)

O Neurona Artificial
Entradas 1
2 Salida
PE
3
4
 1) FUNCIONES
(3 de las 150 funciones reales)
• Evaluar señales de entrada determinando en “peso” de cada
una.

• Calcula el total para cualquier combinación de entradas y lo

compara para cualquier nivel.

• Determina que salida debe realizar

 2) ENTRADAS Y SALIDAS

• Las E ingresan simultáneamente al PE. De acuerdo a un

umbral la neurona “dispara o no” una salida. Varias
Entradas una sola Salida.
• Algunas Redes aceptan la inclusión de mecanismos para
otras influencias distintas de las Entradas.
• Estos extra-inputs se llaman términos de predisposición o
forzamiento. Incluye los de olvido para desaprender.
 3) FACTOR PESO

• Cada Entrada puede tener un Peso relativo que afecta el

impacto como entrada.

• Los Pesos son Coeficientes Adaptativos dentro de la red.

Determinan la intensidad de la Entrada (Fuerza de la
conexión).

• El Peso inicial para un PE puede ser modificado en función

de las E y las propias reglas de modificación de la red.
 3) FACTOR PESO

• La Entrada Total en un PE es el producto de dos vectores:

(e1 , e 2, e 3 . . . e n) y (P1 , P2, P3 . . . P n) E1 = e 1 * P1 ; E2 = e 1*

P1 etc

• La Entrada Total es el escalar E1 + E2 . . .En.

• Donde: Si los vectores van en el mismo sentido el producto
es el máximo. Si apuntan en sentidos opuestos el producto es
mínimo.
4) FUNCIONES NEURONALES
a) Función Sumatoria
• Si ∑ eX * PX es mayor que el umbral entonces genera una
señal de salida.
e1 P1

e2 P2 S=∑ e X * PX

e3 p3
p4

e4
4) FUNCIONES NEURONALES
b) Función de Activación
• El resultado de la ∑ debería ingresar a una Función de
Activación antes que a una función de Transferencia. Esto
permite variar la salida en función del tiempo y la experiencia
e1 P1

e2 P2 S=∑ e X * PX
∑

e3 p3
T
p4

e4
4) FUNCIONES NEURONALES
c) Función de Transferencia

• El Umbral o Función de Transferencia es generalmente no

lineal. Las funciones lineales son limitadas y no muy útiles
(x or) para decidir si se prende una célula fotoeléctrica.
• Las Funciones de Transferencia más utilizadas son las
escalonadas, en rampa o las sigmoideas.
• O las decisiones en base a lógica difusa.
4) FUNCIONES NEURONALES
c) Función de Transferencia

1 1

1
-1

X < 0 ^ Y = -1 X<0^Y=0 Y = 1 / (1 + e x )
X>0^Y= 1 0 ≤ X ≤ 1 ^Y = X
X > 1 ^ Y = 1
 5) COMBINANDO ELEMENTOS
PEs
• Si se combinan varios PEs da lugar a una “capa”.
• Las entradas se conectan a varios nodos (Pes) con distinto peso.
La salida sigue por un nodo.

• Una Capa
 6) COMBINANDO CAPAS

• Se pueden interconectar varias capas. La capa que recibe las

entradas se llama “capa de entrada” y su función es un buffer
de inputs. La “capa de salida” genera los outputs.
• Entre una y otra puede haber n “capas ocultas”.
• Las interconexiones se ponderan por un peso asociado a cada
conexión particular.
• Una red es “full connected” si para cada salida de una capa
existe una conexión para cada nodo de la próxima capa.
6) COMBINANDO CAPAS
7) OPCIONES DE CONECTIVIDAD

• La conectividad alude a como las salidas pueden ser usadas

como canales para ser entradas de otras neuronas:

1. Si la salida de un PE no puede ser entrada de un PE de la

misma capa o de capas precedentes de llama “feedforward”.

2. Si una salida puede ser entrada de su misma capa o de capas

precedentes se llama “feedback”. (Recursivas).
 8) FILTROS

• Las capas pueden actuar como filtros generando representaciones

intermedias. Ej. La Matriz de puntos de la letra “A” (5 por 7).
• La salida activa una representación ASCII 0100 0001
. . • . .
. • . • .
• . . . •
• . . . •
• • •• •
• . . . •
• . . . •
B) LOS MECANISMOS BÁSICOS
DE APRENDIZAJE
• La Función de Transferencia se establece en el diseño y no
puede ser modificada durante la ejecución (para cada PE).
• Cada PE puede ajustar su peso dinámicamente
• Cuando muchos PE´s ajustan su peso colectivamente se dice
que la red se ensambla “inteligentemente”.
• Esto se logra por medio de distintos mecanismos de
Aprendizaje
 MODOS Y RANGOS DE
APRENDIZAJE
 Los Modos aprendizajes pueden ser:
1.Supervisado: Con un tutor que REFUERZA hasta congelar los
pesos.
2.No supervisado: Aprende de detectar regularidades.
Los Rangos de aprendizaje pueden ser:
1.Rápido: Poco training → Discriminación baja.
2.Lento: Mucho training (off line) → Discriminación fina.
El rango es una medida de CONVERGENCIA de la red
TÉCNICAS DE ENTRENAMIENTO

• Las Redes Aprenden la relación entre Entradas y Salidas

“mirando” ejemplos de varias Entradas y Salidas.

• La habilidad para determinar como procesar los datos de

entrada se llama “autoorganización”.

• El proceso por el cual lo logran se denomina “adaptación” o

“aprendizaje”
 LEYES DE APRENDIZAJE
Ley de Hebb y Regla Delta
• Ley de Hebb:
Si un PE recibe un input de otro PE y si ambos son altamente
activos (= signo), el peso entre los PE´s debería potenciarse

• Regla DELTA:
Para un PE la regla continuamente modifica el nivel de
discrepancia (DELTA) entre el output deseado y el output real
corriente (Ej. Windrow & Hoff – Adaline)
 LEYES DE APRENDIZAJE
Regla del descenso y Kohonen
• Regla del descenso del gradiente:
Los pesos son modificados por un monto proporcional a la primera
derivada del error respecto del peso.
• Ley de Aprendizaje de Kohonen:
Los PE´s compiten entre sí para tener oportunidad de aprendizaje. El
PE con mayor salida se declara “ganador” y obtiene la posibilidad de:
1) inhibir a los competidores 2) ajustar sus pesos con los de sus vecinos
(aliados).
El ganador se define como quien tienen la mas estrecha coincidencia
con los patrones de entrada. Las leyes Kohonen modelan la distribución
de los inputs.
 LEYES DE APRENDIZAJE
Propagacíón hacia atrás
• Aprendizaje Back Propagation (dos fases con 3 o más capas):

1)Fase Forward: El input es propagado hacia la salida. Calcula

el valor del output para cada PE. Se compara con el valor
deseado y se calcula el error.

2)Fase Backward: el error es ejecutado en dirección hacia atrás.

 LEYES DE APRENDIZAJE
Red de Grossberg
• Teoría del Refuerzo (Simula Pavlov):

El PE es condicionado para que ciertos inputs trabajen como

REFUERZOS y otros como INHIBIDORES.

La salida se mide por frecuencia más que por intensidad

 c) Qué podemos hacer con Redes
Neuronales? Aplicaciones
• Reconocimiento de Caracteres: El reconocimiento de caracteres es cada vez más importante en
nuestra sociedad. Los dispositivos manuales como la Palm Pilot son cada vez más populares. Las
redes neuronales se pueden utilizar para reconocer caracteres manuscritos.
• Medicina: Una de las áreas que ha ganado la atención es el diagnóstico cardiopulmonar. Un
paciente puede tener chequeos regulares en un área particular, aumentando la posibilidad de
detectar una enfermedad o una disfunción. Los datos pueden incluir ritmo cardíaco, la presión
arterial, el ritmo respiratorio, etc. Los modelos pueden incluir variaciones de edad, sexo y
actividad física. Los datos de cada individuo se comparan con los datos anteriores y/o a los datos
de los varios modelos genéricos. Las desviaciones de la norma se comparan a las causas sabidas de
las desviaciones para cada dolencia. La red neuronal puede aprender estudiando las diversas
condiciones y modelos, combinándolos para formar un cuadro conceptual completo y después
diagnostica la condición de un paciente basada sobre los modelos.
• Compresión de imagen: La redes neuronales pueden recibir y procesar extensas cantidades de
información inmediatamente, haciéndolas útiles en la compresión de imagen. Con la explosión del
Internet y más sitios usando más imágenes en sus sitios, las redes son una alternativa eficaz.
 c) Qué podemos hacer con Redes
Neuronales? Aplicaciones
• El problema del viajante: Es bastante interesante. Las redes pueden ayudar a resolver estos
problemas de optimización, pero solo hasta cierto grado de aproximación.
• La nariz electrónica: La idea de una nariz química puede parecer un poco absurda, pero tiene
varios usos en el mundo real. La nariz electrónica se compone de un sistema de detección químico
y de una red que reconoce ciertos patrones de productos químicos. Un olor se pasa sobre el arsenal
químico del sensor, se traducen de formato y la red identifica el producto químico.
• Seguridad: Ya de usa el CATCH. U n acrónimo para el seguimiento y caracterización de
homicidios. Aprende sobre un crimen existente, su localización y las características particulares. Se
subdivide en diversas herramientas, que ponen énfasis en una característica o grupo de ellas.
Permite que el usuario quite ciertas características que determine que no tienen relación.
• Predicción de la bolsa: El negocio cotidiano de la bolsa es extremadamente complicado. Muchos
factores pesan para que una acción suba o baje en cualquier momento. Dado que las redes
neuronales pueden examinar mucha información rápidamente y ordenarla, pueden ser utilizadas
para predecir precios de las acciones.