Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Redes Neuronal
Redes Neuronal
2.1 Introduccin
Las Redes Neuronales constituyen una familia muy variada de arquitecturas. Estn
basadas en el modelo cerebral: las neuronas establecen conexiones entre ellas
(sinapsis), de manera que cuando un animal recibe un estmulo, ciertas conexiones se
refuerzan ms que otras, provocando una cierta respuesta. Siempre que el animal reciba
un estmulo (entrada) similar, generar la misma respuesta (aprendizaje): se puede decir
que el cerebro reconoce diferentes patrones.
Este
comportamiento
es
fcilmente
caracterizable
mediante
un
modelado
Pgina 12
2.2 Historia
McCullogh y Pitts realizaron en 1943 un estudio biolgico del cerebro obteniendo un
modelo formal de neurona, con lo que introdujeron as el concepto de umbral: una
neurona responde a un cierto estmulo siempre que ste sobrepase un cierto umbral de
activacin.
Posteriormente, en 1949, Hebb desarroll el Hebbian Learning: aprendizaje mediante
adaptacin de sinapsis o reforzamiento de las conexiones.
En 1959, Rosenblat defini el perceptrn, uno de los conceptos ms importantes
dentro del desarrollo de las Redes Neuronales: el perceptrn consiste en una estructura
ms una regla de aprendizaje o regla del perceptrn. Esa estructura es la combinacin de
una neurona y una funcin de salida que es la que define el umbral de activacin. La
misin de la neurona es implementar una combinacin lineal de las entradas. Cada
entrada posee un peso, que se adapta temporalmente. Es esto lo que se conoce como
aprendizaje.
Misky y Papert desarrollaron en 1969 un perceptrn unicapa que consegua una
clasificacin de primer orden (XOR). Se plante entonces el problema del entrenamiento
de varias capas. As, en 1974 Werbos defini el algoritmo de retropropagacin y el uso de
la funcin sigmoidal como funcin de salida de un perceptrn. El algoritmo de
retropropagacin permite modificar los pesos partiendo de la ltima capa hasta la inicial
basndose en el error cometido en la iteracin anterior. Ese error es la diferencia entre la
salida de la Red Neuronal y la salida real que deberamos haber obtenido. Como el
algoritmo de retropropagacin est basado en la derivada del error, se decidi utilizar la
Pgina 13
funcin sigmoidea en vez del escaln para representar el umbral de activacin (la funcin
escaln tiene derivada infinita en el origen).
Posteriormente se desarrollaron otros tipos de redes: Kohonen en los 70 cre los
mapas topolgicos y las memorias asociativas, y en 1982 Hopfield defini las redes de
Hopfield.
Finalmente, en 1986 Rumelhart y McClelland desarrollaron el perceptrn multicapa,
popularizndose as el algoritmo de retropropagacin. En 1989, Cybenko, Hornik et al. y
Funahashi definieron el perceptrn multicapa como el aproximador universal [Martn-01].
2.3 Clasificacin
Existen diferentes criterios de clasificacin para las Redes Neuronales:
o
Binaria: cero o uno. Se puede utilizar cuando las entradas son codificadas,
por ejemplo, representando el intervalo sobre el que caen dentro de un rango.
Si el rango se divide en x intervalos, cada entrada se representa con x valores,
todos a cero menos uno, el que corresponde al intervalo de valores de la
entrada.
Pgina 14
Realimentacin:
2.4.1 Propiedades
Las propiedades que comparten todas las Redes Neuronales son:
o
Pgina 15
2.4.2 Neurona
Una neurona artificial se implementa de la siguiente manera: las entradas (x) se
introducen en las dendritas. Cada una posee un peso (wij, neurona j entrada i). Dentro
del cuerpo se aplican diferentes funciones de procesamiento (propagacin, activacin,
salida) hasta llegar al axn (salida y). Todo esto queda reflejado en la siguiente grfica:
Pgina 16
2.4.3 Topologa
Comprende varios aspectos:
o
Pgina 17
En una red multicapa se definen tres tipos de capas: de entrada, oculta y de salida.
Pgina 18
Figura 2-7: Regiones que se pueden delimitar segn el nmero de Capas Ocultas que se
consideren.
Supervisado:
Heurstico: perceptrn.
Actor/crtico.
Q-learning.
No supervisado:
Hebbiano: Hopfield.
Mquinas de Boltzmann.
Pgina 19
2.5.1 Qu es un perceptrn?
Un perceptrn es una estructura neuronal ms una regla de aprendizaje. Como se
explicaba anteriormente, una neurona se compone de un conjunto de entradas, cada una
con un peso, que se introducen en el cuerpo de la misma para su procesamiento. Ese
procesamiento puede consistir en:
Pgina 20
Combinacin lineal:
y i xi
i
Distancia eucldea:
y
x
i
Pgina 21
Wk 1 Wk X t y d y
donde:
o
W = vector de pesos.
k = iteracin actual.
h = factor de aprendizaje.
X = vector de entradas.
yd = salida deseada.
2.5.2 Retropropagacin
A continuacin, se va a explicar el mtodo utilizado para entrenar un perceptrn
multicapa.
Pgina 22
2.5.2.1 Algoritmo
El aprendizaje de un perceptrn multicapa es ms complejo. Como se apunt
anteriormente, el entrenamiento de este tipo de Redes Neuronales es un entrenamiento
supervisado. Se define un conjunto de pares de patrones (Xi, Yi) de entrenamiento y se
define una funcin de error (diferencia entre la salida deseada y la obtenida). Una vez
obtenido dicho error se actualizan los pesos para minimizarlo. El procedimiento que se
emplea es el descenso en la direccin del gradiente: una manera muy eficiente de
implementarlo es a travs de un procedimiento equivalente a computar la Red hacia
atrs. Esto da lugar al algoritmo de retropropagacin:
P
ET E p
p 1
2
1 P
d p O pS
2 p 1
donde:
o
Ep = error de la salida p.
ijL k 1 ijL k
ET
ijL k
donde:
o
k = iteracin actual.
m = factor de aprendizaje.
Pgina 23
ijL k p 1 ijL k
O Lj
NL
1
1 e
y Lj
; y Lj ijL OiL 1
i 1
donde:
o
ijL k O Lj y Lj ijL k
O Lj
y
L
j
y Lj
ijL k
y Lj
1 e
y Lj
L 1
i
1
1 e
y Lj
y Lj
1 e
y Lj
O Lj 1 O Lj
y 1j
ij1 k
ii
d j O Sj
LS
E T
d j O Sj O Sj 1 O Sj
y Sj
d j O Sj f ' y Sj jS
donde jS = seal de error.
Pgina 24
Para el resto de las capas, cuando vara la salida de la neurona de una de ellas
afecta a la salida de las neuronas de la siguiente capa:
L 1
L 1
ET
ET y1L 1
ET y 21
ET y N L 1
L 1
... L 1
O Lj y1L 1 O Lj
y 21
O Lj
y N L 1
O Lj
ET y iL 1 N L 1 L 1 L 1
i ij k
L 1
O Lj
i 1 y i
i 1
N L 1
N L 1
N L 1
ET
L
L
L 1
L 1
L
O j 1 O j i ij k f ' y j iL 1 ijL 1 jL
L
y j
i 1
i 1
2.5.2.2 Resumen
En resumen, el algoritmo de actualizacin de pesos queda:
ijL k 1 ijL k OiL 1 jL
jS f ' y Sj d j O Sj
jL f ' y Lj kL 1 Lj 1 k
N L 1
i 1
Pgina 25
6. Ir al paso 2.
Puede aproximar cualquier funcin continua Y = F (X) con soporte compacto hasta
una precisin dada.
Aplicaciones:
Reconocimiento de patrones:
-
Pgina 26
etc.
Todas las ideas de este ltimo apartado han sido extradas de [Martn-01], [Pardo,
00] y [Zufiria, 98].
Pgina 27