Info Deep Learning Expo

Diapo 1
No existe una nica definicin de aprendizaje profundo.
En general se basa en un montn de tcnicas que ya existan con anterioridad, dichas
tcnicas son los algoritmo basados en aprender representaciones de datos; los cuales
pertenecen al aprendizaje automtico (machine learning).
A partir de este punto comn, diferentes publicaciones se centran en un conjunto de
caractersticas diferentes, por ejemplo:

Estos algoritmos intentan modelar abstracciones de alto nivel en datos usando

arquitecturas compuestas de transformaciones no-lineales mltiples.
Una campo dentro de machine learning basados en algoritmos para aprende varios niveles
de representacin buscando relaciones complejas tenemos por tanto
features(caractersticas) de alto y bajo nivel, jerarquizndolas.
Podemos decir que el deep learning es una nueva rea creada para devolver al machine
learning a uno de sus objetivos : Inteligencia artificial. Busca niveles de abstraccin que
nos permitan dar sentido a imgenes, sonidos y texto,

usar una cascada de capas con unidades de procesamiento no lineal para

extraer y transformar caractersticas. Cada capa usa la salida de la capa anterior
como entrada. Los algoritmos pueden utilizar aprendizaje supervisado o no
supervisado, y las aplicaciones incluyen reconocimiento de patrones y clasificacin
estadstica.

estar basados en el aprendizaje (no supervisado) de mltiples niveles de

caractersticas o representaciones de datos. Las caractersticas de ms alto nivel se
derivan de las caractersticas de nivel inferior para formar una representacin
jerrquica.

formar parte del campo del aprendizaje mquina para aprender

representaciones de datos.

aprender mltiples niveles de representacion que corresponden con diferentes

niveles de abstraccin. Estos niveles forman una jerarqua de conceptos.

Diapo 2

- Aprender varios niveles de representacin buscando relaciones

complejas. Tenemos generando
features de alto y bajo nivel, jerarquizndolas, Deep arquitectura.
Generalmente no supervisado. Es a tener
tambin en cuenta que algunas representaciones son mejores que otras
para depende de que tareas.
- Niveles de abstraccin que nos permitan dar sentido a imgenes,
sonidos y texto.

Una observacin (por ejemplo, una imagen) puede ser representada en muchas formas
(por ejemplo, un vector de pxeles), pero algunas representaciones hacen ms fcil
aprender tareas de inters (por ejemplo, es esta imagen una cara humana?) en base a
ejemplos, y la investigacin en esta rea intenta definir cules representaciones son
mejores y cmo crear modelos para aprender estas representaciones.
Varias arquitecturas de aprendizaje profundo, como redes neuronales profundas, redes
neuronales profundas convolucionales, y redes de creencia profundas, han sido
aplicadas a campos como visin por computador, reconocimiento automtico del habla,
y reconocimiento de seales de audio y msica, y han mostrado producir resultados de
vanguardia en varias tareas.

Diapo 3 , 4 ,5
imaginmonos que utilizamos las imgenes de dgitos escritos a mano de la base de
datos MNIST. Esta base de datos contiene dgitos como los mostrados a
continuacin:

Ejemplo de dgitos escritos a mano.

Para entrenar un auto-codificador, supongamos que recortamos parches de 88

pxeles de esta base de datos, y configuremos el auto-codificador con 100 neuronas

en su capa oculta. Tal como se explic, mostraremos a la red el mismo parche a la

entrada y la salida, y la red aprender una codificacin intermedia. Ahora, si
dibujamos el parche que activa completamente cada una de las 100 neuronas de la
capa oculta, obtendremos el siguiente grfico (los 100 patrones se han distribuido
en una matriz 1010 por comodidad):

Patrones que activan cada una de las 100 neuronas de un auto-codificador.

Como se puede apreciar en la imagen, los parches que activan al mximo cada
neurona de la capa oculta representan caractersticas fundamentales de los dgitos,
como esquinas, lneas con distintos ngulos, algunas curvas, e incluso algunos
crculos (probablemente para los ochos).
Para entrenar el auto-codificador se utiliz solamente la tcnica de aadir ruido en
la entrada, concretamente pxeles negros con una probabilidad del 20%.
Como os podis imaginar, una vez entrenado un auto-codificador, la segunda mitad
de la red se puede descartar, normalmente nos interesa slo la parte que codifica.

Apilando auto-codificadores

Un solo auto-codificador puede encontrar caractersticas fundamentales en la

informacin de entrada, las caractersticas ms primitivas y simples que se pueden
extraer de esa informacin, como rectas y curvas en el caso de las imgenes. Sin
embargo, si queremos que nuestras mquinas detecten conceptos ms complejos
como rostros, nos hace falta ms potencia.
Fijmonos en la operacin que realiza un auto-codificador en su capa oculta. A
partir de informacin cruda sin significado (por ejemplo, pxeles de imgenes), es
capaz de etiquetar caractersticas algo ms complejas (por ejemplo, formas simples
presentes en cualquier imagen como lneas y curvas). Entonces la pregunta es, qu
pasa si al resultado codificado, en esa capa oculta, le aplicamos otro autocodificador? Si lo hacemos bien, encontrar caractersticas ms complejas todava
(como crculos, arcos, ngulos rectos, etc). Si continuamos haciendo esto varias
veces, tendremos una jerarqua de caractersticas cada vez ms complejas, junto
con una pila de codificadores. Siguiendo el ejemplo de las imgenes, dada una
profundidad suficiente e imgenes de ejemplo suficientes, conseguiremos alguna
neurona que se active cuando la imagen tenga un rostro, y sin necesidad de que
ningn supervisor le explique a la red cmo es un rostro.
La idea de Deep Learning mediante auto-codificadores apilados es precisamente
esa, usar varios codificadores, y entrenarlos uno a uno, usando cada codificador
entrenado para entrenar el siguiente. Podramos llamarlo un algoritmo
voraz (greedy), y ste es realmente el gran avance del Deep Learning que permite
hacer todas esas cosas tan fantsticas que leemos ltimamente.

Alternativas
Los auto-codificadores no son el nico mecanismo para realizar Deep
Learning. Existen otras alternativas, como las Deep Belief Networks. Estas
consisten tambin en una serie de capas entrenadas una a una, de la ms especfica
a la ms genrica, pero cada capa en lugar de un auto-codificador, utiliza
una Restricted Boltzmann Machine. La idea general es la misma, slo cambian
algunos ladrillos.