Redes de Aprendizaje Profundo

Presentado por: ROBINSON JIMENEZ M.

Maestra en Mecatrnica
Redes Neuronales:
 Redes Neuronales:
La red neuronal ms comn es la perceptron, su entrenamiento consiste en
ingresar mltiples muestras de entrenamiento y la salida de cada uno de ellos.
Despus de cada muestra, los pesos w se ajustan de tal manera a fin de
minimizar el error de salida.

El algoritmo ms comn para el entrenamiento supervisado de las redes

perceptron multicapa se conoce como backpropagation. El procedimiento
bsico es:
1. Una muestra de entrenamiento se presenta y se propaga hacia adelante a
travs de la red.
2. Se calcula el error de salida, por lo general el error cuadrtico medio:
3. Se actualizan los pesos acorde al error presentado y se repite el proceso.
Replicar: ROBINSON JIMENEZ MORENO, "Entrenamiento Neuronal para
Clasificacin de Productos en un Entorno Industrial" .Revista
Clepsidra ISSN: 1900-1355 v.17 fasc.N/A p.29 - 37 ,2013
 Introduccin aprendizaje profundo:

Entre los diferentes procesos que se ejecutan en un sistema de visin de mquina

se encuentran:

Captura y pre-procesamiento de imagen.

Procesamiento de Imagen (extraccin de caractersticas)
Anlisis y/o identificacin
Aplicacin
 Introduccin aprendizaje profundo:

Para la etapa de anlisis e identificacin se emplean usualmente tcnicas de

aprendizaje de mquina o Machine Learning (ML).

De forma general estas tcnicas han buscado permitir el reconocimiento de

comandos naturales, interaccin hombre mquina, identificacin de objetos y
toma de decisiones.

Entre ellas se encuentran las redes neuronales, los sistemas difusos y los
algoritmos genticos, entre otros.
 Introduccin:

Detection of the Tiredness Level of Drivers Using Machine Vision Techniques. Robinson Jimnez M.,
Flavio Prieto, Victor H. Grisales. Congreso de Electrnica, Robtica y Mecnica Automotriz-CERMA
2011. Cuernavaca - Mxico .
Video surveillance for monitoring driver's fatigue and distraction , Robinson Jimnez, Flavio Prieto,
Victor H. Grisales. Optics, Photonics, and Digital Technologies for Multimedia Applications 2012 Bruselas-
Blgica .
 Ejemplo Introduccin

Detection of the Tiredness Level of Drivers Using Machine Vision Techniques. Robinson Jimnez M.,
Flavio Prieto, Victor H. Grisales. Congreso de Electrnica, Robtica y Mecnica Automotriz-CERMA
2011. Cuernavaca - Mxico .
 El problema con las redes multicapa
Una red neuronal puede tener ms de una capa oculta: en ese caso, las capas superiores
estn "construyendo" nuevas abstracciones en la parte superior de las capas anteriores.
Sin embargo, el aumento del nmero de capas ocultas conduce a dos problemas
conocidos:

Desvanecimiento de gradientes: a medida que agregamos ms y ms capas ocultas,

backpropagation se vuelve cada vez menos til en la transmisin de informacin a
las capas inferiores. En efecto, como la informacin se pasa de nuevo, los gradientes
comienzan a desaparecer.

Sobreajuste: es el problema central en Aprendizaje Automtico. En pocas palabras,

el sobreajuste es el fenmeno de ajuste de los datos de entrenamiento muy de
cerca, tal vez con la hiptesis de que son demasiado complejos.
 El cerebro humano

1011 Neuronas
1014 Sinapsis
Red neuronal Compleja
El aprendizaje modifica la sinapsis
De forma simultanea un 1% de neuronas se activan simultneamente
(109 Neuronas).
Arquitectura en mltiples capas V1.Vn, red profunda.
 Motivaciones del Deep Learning

Emular aprendizaje del cerebro.

Los humanos organizan las ideas jerarquicamente.
Arquitecturas con insuficientes capas pueden ser
ineficientes.
El cerebro usa aprendizaje no supervisado en gran
medida.
El cerebro aprende tareas simples primero.
Aumento de la complejidad
Aumento de la complejidad
Aumento de la complejidad
Ejemplo de arquitectura profunda
MPL
Restricted Boltzmann Machines
(RBM)
Deep Belief Networks
Al tener variables ocultas se logra aumentar la capacidad de modelacin de la
mquina de Boltzmann, donde la funcin de energa E(v,h), de las capas visibles (v)
y de las capas ocultas (h), se define mediante :

Donde W representa los pesos de conexin entre las variables ocultas y las visibles,
b y c representa offsets de cada tipo de variable.
 Convolutional Neural Networks
La capa de entrada tpica de una red neuronal convolucional corresponde a un
grupo de mapas de caractersticas, cada mapa se obtiene por la aplicacin repetida
de una funcin a travs de sub-regiones de toda la imagen de entrada. Es decir se
realiza la convolucin de la imagen de entrada con un filtro lineal sometida
posteriormente a una funcin no lineal. En (3) se establece la relacin matemtica
para el clculo de pesos en el k-simo mapa de caractersticas, de una capa
determinada y denotada hk, los filtros de este mapa se determinan por los pesos
Wk y el bias correspondiente bk, de forma anloga al procedimiento de
entrenamiento de una red tipo perceptron.
 CCN: conclusin
Se mantiene el concepto de capas, pero cada neurona de
una capa no recibe conexiones entrantes de todas las
neuronas de la capa anterior, sino slo de algunas. Esto
favorece que una neurona se especialice en una regin de
la lista de nmeros de la capa anterior, y reduce
drsticamente el nmero de pesos y de multiplicaciones
necesarias. Lo habitual es que dos neuronas consecutivas
de una capa intermedia se especialicen en regiones
solapadas de la capa anterior.
Cuanto mayor es la entrada ms pesos hay que
entrenar, y ms lento es todo el proceso de
entrenamiento. Si tenemos imgenes de 10001000
pixeles, y utilizamos 1000 neuronas en la capa oculta,
necesitaramos entrenar 2000 millones de pesos,
mientras que si utilizamos parches de 88 y utilizamos
100 neuronas en la capa oculta, entrenamos slo
12800 pesos.
 Convolutional Neural Networks
Una red neuronal convolucional trabaja con imgenes directas para
clasificarlas, aprendiendo las caractersticas propias para determinar su
clasificacin, aprendizaje de principio a fin.
Filtro de convolucin forman estructuras simples de segmentos verticales y horizontales,
que generan caractersticas nicas de reconocimiento del objeto deseado el tamao y
numero de cada filtro es uno de los hiperparametros de la capa de convolucin. El filtro
por cada posicin calcula el valor escalar sobre el volumen de entrada y se suma cada
resultado, generndose diferentes mapas de asignacin para cada filtro, los valores de los
filtros son aprendidos por la red, activndose al ser sometidos a dichas caractersticas
(reconocimiento del objeto).
La figura muestra los volmenes de entrada y de salida para la capa de convolucion, que se
conforma por k filtros 3D de dimensiones Hk y Wk.

La altura y anchura F se asume pero no requiere ser simtrica, la profundidad del filtro es D1
Stride : intervalo desde el cual aplicar los filtros al volumen de entrada
Zero padding o relleno con ceros, extiende los lados con ceros.
Las dimensiones del volumen de salida se calculan con:
Capa ReLU (Unidad lineal rectificada) no aade complejidad es un capa de funcin de activacin,
por medio de una rampa por ejemplo:

Pooling opera independiente por capa y reduce progresivamente el tamao de las capas
mediante los mtodos del mximo o del promedio. Por ejemplo, para un filtro 2X2 con stride =2
se tiene:
 Entrenamiento de la red:
Requiere base de datos de entrada, deben ser homogneos, miles a millones de imgenes
etiquetadas, datos pequeos producen sobreajuste.
Data aumentation: recortar, rotar e invertir imgenes para aumentar datos.
Establecer la arquitectura de la red, nmero de capas (profundidad).

Capa de entrada: HxWxD

Concatenacin de capas de convolucin (filtros), Relu y pooling finalmente capa fullyconected,

softmax y classification layer.

Capa softmax identifica la distribucin de probabilidad sobre un conjunto de etiquetas

mutuamente excluyentes y la suma de todas sus componentes es 1.
Capa flatten: capa de aplanamiento para clasificacin convencional de datos.
Capa fully-connected: es normal tener dispuestas las neuronas por capas e interconectar cada
neurona de una capa con todas las neuronas de la capa siguiente, tpico en una capa de entrada
donde todas las entradas van a todas las neuronas
 EJERCICIO:
Grupo 1: Implementar una aplicacin de anlisis
masivo de datos mediante DBN.

Grupo 2: Implementar una aplicacin de

reconocimiento de rostro mediante CNN.

Grupo 3: Implementar una aplicacin de

reconocimiento de herramientas mediante CNN.
GRUPO 1: