Documentos de Académico
Documentos de Profesional
Documentos de Cultura
(W0I9)
Sesión: 6
Red Backpropagation
Características.
Arquitectura.
Algoritmo de Aprendizaje(LMS).
Aplicaciones.
2
Red Backpropagation
• Fue primeramente propuesto por Paul Werbos en los
70s en una Tesis doctoral.
• Sin embargo, este algoritmo no fue conocido sino hasta
1980 año en que fue re-descubierto por David
Rumelhart, Geoffrey Hinton y Ronald William, también
David Parker y Yan Le Cun.
• Fue publicado “Procesos Distribuidos en Paralelo” por
David Rumelhart y Mc Clelland, y ampliamente
publicitado y usado el algoritmo Backpropagation.
• El perceptron multicapa entrenado por el algoritmo de
retro propagación es la red mas ampliamente usada.
3
Red Backpropagation
• En muchas situaciones del mundo real, nos
enfrentamos con información incompleta o con ruido, y
también es importante ser capaz de realizar
predicciones razonables sobre casos nuevos de
información disponible.
• La red de retro propagación adapta sus pesos, para
adquirir un entrenamiento a partir de un conjunto de
pares de patrones entrada/salida
• Después que la red ha aprendido ha esta se le puede
aplicar un conjunto de patrones de prueba, para ver
como esta generaliza a patrones no proporcionados.
4
Red Backpropagation
• Red feedforward, completamente conectada.
• El flujo de información fluye de la capa de entrada a la
de salida a través de la capa oculta.
• Cada unidad de procesamiento en la capa se conecta a
todas las de la siguiente capa.
• El nivel de activación en la capa de salida determina la
salida de la red.
• Las unidades producen valores reales basados en una
función sigmoide.
5
Red Backpropagation
1
• Si n=0 a=0.5, conforme n se incrementa la a= −n
salida se aproxima a 1, conforme n 1+ e
disminuye, a se aproxima a 0.
• Funciones de transferencia (diferenciables)
• Sigmoidales,
• Lineales
6
Red Backpropagation
• La función de error define una superficie en el espacio de
pesos, y estos son modificados sobre el gradiente de la
superficie
• Un mínimo local puede existir en la superficie de decisión:
esto significa que no hay teorema de convergencia para la
retropropagación (el espacio de pesos es lo
suficientemente grande que esto rara ves sucede)
• Las redes toman un periodo grande de entrenamiento y
muchos ejemplos.
• Además mientras la red generaliza, el sobre entrenamiento
puede generar un problema.
7
Red Backpropagation: Arquitectura
R – S1 – S2 – S3 Network
8
Red BP: Algoritmo de Aprendizaje
• Los pesos se ajustan después de ver los pares entrada/salida
del conjunto de entrenamiento.
• En el sentido directo la red permite un flujo de activación en
las capas.
• En la retropropagación, la salida actual es comparada con la
salida deseada, entonces se calcula el error para las unidades
de salida
• Entonces los pesos en la salida son ajustados para reducir el
error, esto da un error estimado para las neuronas ocultas y
así sucesivamente.
• Una época se define como el ajuste de los pesos para todos los
pares de entrenamientos, usualmente la red requiere muchas
épocas para su entrenamiento.
9
Red BP: Algoritmo de Aprendizaje
10
Red BP: Algoritmo de Aprendizaje
Gradiente Descendente:
Después que se calcula el error, cada peso se ajusta en
proporción al gradiente del error, retropropagado de la
salidas a las entradas.
El cambio en los pesos reduce el error total.
Mínimo Local:
Entre mas unidades ocultas se tengan en red, menor es
la probabilidad de encontrar un mínimo local.
11
Red BP: Algoritmo de Aprendizaje
12
Red BP: Algoritmo de Aprendizaje
La superficie del error: En 2D
13
Red BP: Algoritmo de Aprendizaje
La superficie del error: En 3D
14
Red BP: Algoritmo de Aprendizaje
15
Red Backpropagation: Aplicaciones
Determinar si un hongo es venenoso
• Considera 8124 variedades de hongo
• Cada hongo es descrito usando 21 características.
16
Red Backpropagation: Aplicaciones
Diagnostico Medico
• Basado en Visión
por computadora.
• Los síntomas son las
entradas.
• Los síntomas son
trasladadas a un
punto en el espacio
de los patrones.
17
Red Backpropagation: Aplicaciones
18
Red Backpropagation: Ejemplo XOR
Diseñe una red de retropropagación que
solucione el problema de la OR-exclusiva
0
P1 = T 1 = 0 usando el algoritmo de retropropación
0 (regla delta generalizada)
0
P 2 = T1 = 1
1
1
P3 = T 1 = 1
0
1
P4 = T1 = 0
1
19
Red Backpropagation: Ejemplo XOR
20
Resumen
Realizar un resumen mediante mapas conceptuales (CMapTools)
de esta diapositiva.
Serán mejor consideradas los resúmenes que tengan información
extra a esta diapositiva.
Las fuentes adicionales utilizadas en el resumen se presentarán
en su carpeta personal del Dropbox y deben conservar el nombre
original y agregar al final _S6.
Las fuentes y los archivos *.cmap deben colocarse dentro de su
carpeta personal del Dropbox, dentro de una carpeta de nombre:
IA_PaternoM_S6
22
Sesión 6. Red Backpropagation
Inteligencia Artificial
http://utpiayse.blogspot.com
23