Red Backpropagation

Dimensionamiento de la red:
El entrenamiento de una Red Neuronal Multicapa se realiza mediante un
proceso de aprendizaje, para realizar este proceso se debe inicialmente
tener definida la topologa de la red, esto es:

Red Backpropagation
Nmero de Neuronas en la capa de entrada, el cual depende del
nmero de componentes del vector de entrada.
Cantidad de capas ocultas y nmero de Neuronas de cada una de
ellas.
Nmero de Neuronas en la capa de la salida el cual depende del
nmero de componentes del vector de salida o patrones objetivo.
Funciones de Transferencia requeridas en cada capa, con base en la
topologa escogida se asignan valores inciales a cada uno de los
parmetros que conforman la red.
Red Backpropagation
Es importante recalcar que no existe una tcnica para determinar el
nmero de capas ocultas, ni el nmero de Neuronas que debe
contener cada una de ellas para un problema especfico, esta eleccin
se determina por la experiencia del diseador, el cual debe cumplir
con las limitaciones de tipo computacional.

Red Backpropagation
Ejemplo: Red 1-2-1
Red Backpropagation
La funcin a aproximar es:
Los valores de los pesos y bias de la red se han escogido aleatoriamente,
los mismos son:

Primera capa:



Segunda Capa:


Red Backpropagation
Entrada inicial:
Salida de la primera capa:
Red Backpropagation
Salida de la segunda capa:
Error:
Red Backpropagation
Retropropagacin de las
sensibilidades:


Red Backpropagation
Retropropagacin de las sensibilidades:

Sensibilidad De la Primera Capa:



Red Backpropagation
Actualizacin de pesos y bias
Red Backpropagation
Con la actualizacin de los pesos finaliza la primera iteracin del algoritmo.
Para continuar el entrenamiento se debe escoger otro patrn p y desarrollar
otra iteracin, as sucesivamente hasta que la diferencia entre la respuesta de
la red y el target (o salida de la funcin) alcance un valor aceptable.
Red Backpropagation
La nica complicacin de este algoritmo se encuentra en el clculo del
gradiente, el cual es un trmino indispensable para realizar la propagacin de
la sensibilidad.


Cmo avanzar por la superficie del error:
En las tcnicas de gradiente descendiente es conveniente avanzar por la
superficie del error con incrementos pequeos de los pesos; esto se debe a
que tenemos una informacin local de la superficie y no se sabe lo lejos o lo
cerca que se est del punto mnimo.



Red Backpropagation
Con incrementos grandes, se corre el riesgo de pasar por encima del punto
mnimo.

Con incrementos pequeos, aunque se tarde ms en llegar, se evita que esto
ocurra.




El elegir un incremento adecuado influye en la velocidad de convergencia del
algoritmo, esta velocidad se controla a travs de la Rata de Aprendizaje (), la
que por lo general se escoge como un nmero pequeo, para asegurar que la
red encuentre una solucin.



Red Backpropagation
Manipulacin de la Rata de Aprendizaje:

Es recomendable aumentar el valor de () a medida que disminuye el error de
la red durante la Fase de Entrenamiento, para garantizar as una rpida
convergencia, teniendo la precaucin de no tomar valores demasiado grandes
que hagan que la red oscile alejndose demasiado del valor mnimo.

Algo importante que debe tenerse en cuenta, es la posibilidad de
convergencia hacia alguno de los mnimos locales que pueden existir en la
superficie del error del espacio de pesos como se ve en la figura.
Red Backpropagation
Red Backpropagation
Limitacin del Algoritmo Backpropagation:

En el desarrollo matemtico que se ha realizado para llegar al Algoritmo
Backpropagation, no se asegura en ningn momento que el mnimo que se
encuentre sea global, una vez la red se asiente en un mnimo sea local o global
cesa el aprendizaje, aunque el error siga siendo alto.

En todo caso, si la solucin es admisible desde el punto de vista del error,
no importa si el mnimo es local o global o si se ha detenido en algn
momento previo a alcanzar un verdadero mnimo.
Red Backpropagation
variaciones del Backpropagation:

El Algoritmo bsico de Backpropagation es muy lento para la mayora de
las aplicaciones prcticas, por lo que han surgido una serie de variaciones que
han mejorado su rendimiento. A continuacin se presentar una breve
descripcin de algunas variaciones del Algoritmo Backpropagation que
proveen una mayor velocidad y hacen del Algoritmo una herramienta mucho
ms prctica.

Red Backpropagation