CVG-UPM

COMPUTER VISION

ndice
Aprendizaje no supervisado: Mapas Auto-organizados SOM - Inspiracin y objetivos - Aprendizaje - Ejemplo y aplicaciones

1
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

R.N.A. No supervisadas: Mapas Auto-Organizados (SOM)

Puntos cercanos en el espacio de entrada activan neuronas cercanas en el espacio de salida y viceversa

Cada neurona debe aprender un patrn Neuronas cercanas deben aprender patrones similares

Rn

R2 , R1

2
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Funcionamiento del Mapa Autoorganizado

La relacin de vecindad de las neuronas est predefinida Los pesos de cada neurona determinan su posicin en el espacio de entrada

Ejecucin:
qu neuronas se activan ante cada entrada?

Aprendizaje:
qu neuronas aprenden la nueva muestra? cmo la aprenden?
3
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

ndice
Aprendizaje no supervisado: Mapas Auto-organizados SOM - Inspiracin y objetivos - Aprendizaje - Ejemplo y aplicaciones

4
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Aprendizaje de las SOM

Aprenden la neurona ms cercana a la muestra de entrada (neurona ganadora wg) y sus vecinas Algoritmo de aprendizaje: - kwi = (x-wi) = (k,ds(wi-wg))

ds(wi-wg)

k
5
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Implementacin neuronal de los SOM

Aprendizaje: determinar la neurona Clculo de distancias en el espacio de entrada ganadora Ejecucin: activacin de las neuronas de salida

Solucin neuronal:

Incermento de la dimensin y normalizacin

x1 . xi . . xI

Producto escalar de los vectores . . . . . . . .

6

P. Campoy

Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Ejemplos de SOM de R2 en R1
caracterstica 2

caracterstica 1 caracterstica 2

caracterstica 1
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

ndice
Aprendizaje no supervisado: Mapas Auto-organizados SOM - Inspiracin y objetivos - Aprendizaje - Ejemplo y aplicaciones

8
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Ejemplos SOM

9
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Ejemplos SOM

10
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

SOM results: influence of learning parameters

0=0.1 0=2.1

v=0.25

v=0.5

v=0.75
11
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

SOM results: influence of instances and neurons

SOM result

different order

P. Campoy

different instances different # neurons Neural Networks and Pattern Recognition

12

CVG-UPM

COMPUTER VISION

Comandos Matlab
som1=newsom(minmax(psom),[10 1]); som1=train(som1,psom) ynt=sim(som1,tsom); plotsom(som1.iw{1,1},som1.layers{1}.distances)

13
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Ejemplo de SOM como clasificador: planteamiento

Teniendo como datos de aprendizaje: load datos2D_2clases_v6.mat

p.valor

t.valor

14
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Ejemplo de SOM como clasificador: resultados

SOM 8x1 SOM 8x8

C1 C1 C2
P. Campoy

C2 11 182 C1 C2

C1 101 6

C2 6 187
15

100 7

Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Ejercicio de SOM como clasificador

Partiendo de los datos del ejercicio anterior: Estudiar la inuencia sobre el resultado (grco y cuanticacin de los errores de test y de aprendizaje) de los siguientes factores: 1. nmero de muestras de aprendizaje 2. orden de las muestras de aprendizaje 3. nmero de neuronas utilizadas 4. nmero de pocas de aprendizaje

16
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Ejercicio de SOM como Generalizador de Funciones

Teniendo como datos de aprendizaje:
yd(i)=sin(xe(i))+normrnd(0,0.1);

17
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Ejercicio de SOM como Generalizador de Funciones

Partiendo de los datos del ejercicio anterior: Estudiar la inuencia sobre el resultado (grco y cuanticacin de los errores de test y de aprendizaje) de los siguientes factores: 1. 2. 3. 4. nmero de muestras de aprendizaje orden de las muestras de aprendizaje nmero de neuronas utilizadas nmero de pocas de aprendizaje

18
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Ejemplo SOM: Estado Trafos

Entrada 5 dimensiones: % de H2 , CH4 C2H2 C2H4 C2H6 Salida bidimensional con U-matriz Semntica manual supervisad

19
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Compresin de vdeo mediante SOM

secuencia original datos de entrenamiento

P. Campoy

Mapa salida unidimensional N neuronas 256

20

Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Entrenamiento: evolucin pesos neuronas

21
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Compresin mediante SOM: resultados

ECM=13,47
factor compresin: 1:16 bits/pixel: 0.5

H=0.4375

22
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Codificadores de smbolos: Informacin de la fuente

Informacin de un evento con probabilidad P(E):

I(E) = - log P(E)

I(E)

Ejemplo:

P(E)

Dado con 8 caras equiprobables con valores: 1,1,1,1,2,2,3,4 suceso P(ai) I(ai)=-log2P(ai) cdigo 1 0,5 1 0 2 0,25 2 10 3 0,125 3 110 4 0,125 3 111

Entropa de la fuente es la esperanza de la informacin de un

evento: H(z) = - P(ai) log P(ai) siendo z=(P(a1) ... P(ai))T
23
Neural Networks and Pattern Recognition

Informacin media de un evento: 0,5*1+0,25*2+0,125*3+0,125*3=1,75

P. Campoy

CVG-UPM

COMPUTER VISION

Problemas y limitaciones de los mapas auto-oganizados

Problemas:
dimensin de la red? nmero de neuronas? velocidad y vecindad del aprendizaje? orden de introduccin de muestras?

Limitaciones:
- muestras cercanas activan neuronas distantes - neuronas vecinas en pueden ser activadas por muestras distantes
24
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Ejemplos con entradas 2D:

- Dimensin intrnseca 2
Mapa salida 2D Mapa salida 1D Dimensin intrnseca 1 Mapa salida 2D Mapa salida 1D Dimensin intrnseca entre 1 y 2 Mapa salida 2D Mapa salida 1D Parmetros: Vecindad (0), factor de aprendizaje (0), Numero de neuronas (fil, col), nmero de muestras (N) tiempo caracterstico (), valores iniciales
25
P. Campoy Neural Networks and Pattern Recognition

Ejemplos SOM

CVG-UPM

COMPUTER VISION

Aprendiendo la dimensionalidad intrnseca y la resolucin por cada dimensin

Nuevos retos en SOM

dim. intr. 2

dim. intr. 1

26
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Aprendiendo la dimensionalidad intrnseca y la resolucin por cada dimensin

Nuevos retos en SOM

dim. intr. ?
27
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

Aprendiendo la dimensionalidad intrnseca y la resolucin por cada dimensin

Nuevos retos en SOM

0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0

12x12
0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0
0 0.1 0.2 0.3 0.4 0.5 0.6 Red 12x12 0.7 0.8 0.9 1

0.9

1x144

5x29
0 0.1 0.2 0.3 0.4 0.5 0.6 Red 5x29 0.7 0.8 0.9 1

28
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

SOMOS

29
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

SOMOS

30
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

SOMOS

31
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

COMPUTER VISION

SOMOS

32
P. Campoy Neural Networks and Pattern Recognition