UNIVERSIDAD PERUANA UNIÓN - LIMA

FACULTAD DE INGENIERÍA Y ARQUITECTURA

Facilitador:
Dr. SORIA QUIJAITE JUAN JESÚS
EMAIL: jesussoria@upeu.edu.pe

Tema:
INTRODUCCIÓN A LA INTELIGENCIA ARTIFICIAL
 NOCIONES DE REDES NEURONALES
La neurona es la unidad funcional y estructural del sistema nervioso que
produce y transmite el impulso nervioso. Se encuentra formada por tres
partes: el cuerpo neuronal o soma; una prolongación larga y poco
ramificada llamada axón, y otras prolongaciones muy ramificadas alrededor
del soma llamadas dendritas.

1
 MODELO NEURONAL DE McCULLOCH-PITTS
El primer modelo Matemático de una neurona artificial
creado con el fin de llevar a cabo tareas simples, fue
presentado en el año 1943 en un trabajo conjunto entre
el psiquiatra y neuroanatomista Warren McCulloch y el
matemático Walter Pitts.

2
 MODELO NEURONAL DE McCULLOCH-PITTS
La siguiente figura muestra un ejemplo de modelo neuronal con n entradas que consta:
Un conjunto de entradas x1, x2, … , xn.
Los pesos sinápticos w1, w2, … ,wn, correspondientes a cada entrada.
Una función de agregación, ∑.
Una función de activación, f.
Una salida Y.
Las entradas son el estímulo que la neurona artificial recibe del entorno que la rodea, y
la salida es la respuesta a tal estímulo. La neurona puede adaptarse al medio
circundante y aprender de él modificando el valor de sus pesos sinápticos, y por ello
son conocidos como los parámetros libres del modelo, ya que pueden ser modificados
y adaptados para realizar una tarea determinada. En este modelo, la salida neuronal Y
esta dada por Y  f    i x i 
n

 i 1 

3
 FUNCIONES DE ACTIVACIÓN
La función de activación se elige de acuerdo a la tarea realizada por
la neurona. Entre las más comunes dentro del campo de las RANAs
podemos destacar:

4
FUNCIONES DE ACTIVACIÓN

5
 FUNCIONES DE ACTIVACIÓN

1) Redes con conexiones hacia adelante(feedforward)

 Perceptrón
 Adaline
 Madaline
 Linear Adaptive Memory (LAM)
 Backpropagation
Estas redes son útiles en aplicaciones de reconocimiento
clasificación de patrones.
2) Redes con conexiones hacia adelante y hacia atrás
(feedforward/feedback)
 ART (Adaptative Resonance theory)
 BAM (Bidirectional Associative Memory) 6
 Neocognitron
 ARQUITECTURA BACKPROPAGATION

a  f  . x  b 

Las funciones de transferencia deben de ser continuas. Además se buscan 7

funciones cuya derivada dependa de la función sin derivar.
 Algoritmo Backpropagation

Tipo de Red de aprendizaje supervisado que se basa en un algoritmo de

gradiente descendiente (LMS Algorithm Widrow-Hoff).
El patrón de entrada se propaga por la red hasta generar la salida, después
se calcula el error; éstas salidas de error se propagan hacia las neuronas
de la capa anterior. Cada neurona solo tiene una contribución del error total
8
ALGORITMO DE RETRO PROPAGACIÓN

9
RED BACK PROPAGATION
La red Neuronal Back
Propagation es un tipo de red de
aprendizaje supervisado, que
emplea un ciclo propagación –
adaptación de dos fases. Una vez
que se ha aplicado un patrón a la
entrada de la red como estímulo,
este se propaga desde la primera
capa a través de las capas
superiores de la red, hasta generar
una salida. La señal de salida se
compara con la salida deseada y
se calcula una señal de error para
cada una de las salidas.

14
 RED BACK PROPAGATION

Las salidas de error se propagan hacia atrás, partiendo de la capa de

salida, hacia todas las neuronas de la capa oculta que contribuyen
directamente a la salida. Sin embargo las neuronas de la capa oculta

M solo reciben una fracción de la señal total del error basándose

1
E p  .  pk
2 aproximadamente en la contribución relativa que haya aportado cada

2 i 1 neurona a la salida original. Este proceso se repite, capa por capa,

hasta que todas las neuronas de la red hayan recibido una señal de
error que describa su contribución relativa al error total. Basándose en
la señal de error percibida, se actualizan los pesos de conexión de cada
neurona, para hacer que la red converja hacia un estado que permita
clasificar correctamente todos los patrones de entrenamiento. (Garcia
Martinez, Servente, & Pasquín, 2003).
15
FUNCIONES DE TRANSFERENCIA
La importancia de este proceso consiste en que, a
medida que se entrena la red, las neuronas de las capas
intermedias se organizan a sí mismas de tal modo que las
distintas neuronas aprenden a reconocer distintas
características del espacio total de entrada. Después del
entrenamiento, cuando se les presente un patrón
arbitrario de entrada que contenga ruido o que esté
incompleto, las neuronas de la capa oculta de la red
responderán con una salida activa si la nueva entrada
contiene un patrón que se asemeje a aquella
característica que las neuronas individuales hayan
aprendido a reconocer durante su entrenamiento. Y a la
inversa, las unidades de las capas ocultas tienen una
tendencia a inhibir su salida si el patrón de entrada no
contiene la característica para reconocer, para la cual han
sido entrenadas. Para la función de transferencia, se
utilizó la función tangente sigmoidea, la salida de esta
función siempre será continua en el rango entre cero y
uno. La función está definida por la regla de
correspondencia es:
1
 ( )  16
1  e  a
 ETAPAS BACKPROPAGATION
Se determinó las entradas netas para las neuronas ocultas
procedentes de las neuronas de entrada m
N pj   w hji x pi  bih
h

i 1

Se aplicó la función de activación a cada una de las entradas de la

neurona oculta para obtener su respectiva salida
 h m
h
y pj  f  N pj   w ji x pi  bi 
j
h h

 i 1 
Se realizaron los mismos cálculos para obtener las respectivas
salidas de las neuronas de la capa de salida
 0 0
m
  w x pj  b
m
 f  N pk   w kj x pj  bk 
0 0 0
N pk kj k y pk k
0 0

i 1  i 1 

18
 ETAPAS BACKPROPAGATION
Se determinaron los cálculos de error (salida deseada-salida
obtenida) e  d  y
pk pk

Obtención de la delta (producto del error con la derivada de la

función de activación con respecto a los pesos de la red).
 0
pk e f k
0
N 
0
pk

Actualización de los pesos. Se emplea el algoritmo recursivo del

gradiente descendente, comenzando por las neuronas de salida y
trabajando hacia atrás hasta llegar a la capa de entrada. Para los
pesos de las neuronas de la capa de salida

w kj0 ( t  1)  w kj0 ( t )  w kj0 ( t  1) w kj0 ( t  1)  min  pk

0
y pj

19
 ETAPAS BACPROPAGATION
Para los pesos de las neuronas de la capa oculta
w hji ( t  1)  w hji ( t )  w hji ( t  1) w hji ( t  1)  min  pjh x pi
Se cumple la condición de paro. El proceso se repite hasta que el
término de error resulta aceptablemente pequeño para cada uno de
los patrones aprendidos. (Garcia Martinez, Servente, & Pasquín,
2003) E  1 . M  2
p
2

i 1
pk

20
MODELO DE RED NEURONAL DEL ESTUDIO

21