CVG-UPM

COMPUTER VISION
ndice

Aprendizaje no supervisado:
Mapas Auto-organizados SOM
- Inspiracin y objetivos
- Aprendizaje
- Ejemplo y aplicaciones

1
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM
COMPUTER VISION

R.N.A. No supervisadas:
Mapas Auto-Organizados (SOM)
Puntos cercanos en el espacio de entrada activan neuronas
cercanas en el espacio de salida y viceversa
Cada neurona debe aprender un patrn
Neuronas cercanas deben aprender patrones similares

Rn R2 , R1

2
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM
COMPUTER VISION Funcionamiento del
Mapa Auto-
organizado
La relacin de vecindad de las neuronas est
predefinida
Los pesos de cada neurona determinan su posicin en el
espacio de entrada
Ejecucin:
qu neuronas se activan
ante cada entrada?
Aprendizaje:
qu neuronas aprenden la
nueva muestra?
cmo la aprenden?

3
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM
COMPUTER VISION

ndice

Aprendizaje no supervisado:
Mapas Auto-organizados SOM
- Inspiracin y objetivos
- Aprendizaje
- Ejemplo y aplicaciones

4
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM

Aprendizaje de las
COMPUTER VISION

SOM
Aprenden la neurona ms cercana a la muestra de
entrada (neurona ganadora wg) y sus vecinas
Algoritmo de aprendizaje:
- kwi = (x-wi)
= (k,ds(wi-wg))

ds(wi-wg)
k
5
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

Implementacin neuronal de
COMPUTER VISION

los SOM
Aprendizaje: determinar la neurona Clculo de distancias en
ganadora el espacio de entrada
Ejecucin: activacin de las neuronas
de salida
Solucin neuronal:
Incermento de la dimensin y Producto escalar
normalizacin de los vectores
x1
.
.
.
xi .
. .
. .
xI .
.
. 6
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM
COMPUTER VISION

Ejemplos de SOM de R2 en R1

caracterstica 2

caracterstica 1
caracterstica 2

caracterstica 1
7
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM
COMPUTER VISION

ndice

Aprendizaje no supervisado:
Mapas Auto-organizados SOM
- Inspiracin y objetivos
- Aprendizaje
- Ejemplo y aplicaciones

8
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM
COMPUTER VISION
Ejemplos SOM

9
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM
COMPUTER VISION

Ejemplos SOM

10
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM

SOM results:
COMPUTER VISION

influence of learning parameters

0=0.1 0=2.1

v=0.25

v=0.5

v=0.75

11
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

SOM results:
COMPUTER VISION

influence of instances and neurons

SOM result different order

12
P. Campoy
different instances different # neurons
Neural Networks and Pattern Recognition
 CVG-UPM

Comandos Matlab
COMPUTER VISION

som1=newsom(minmax(psom),[10 1]);
som1=train(som1,psom)

ynt=sim(som1,tsom);

plotsom(som1.iw{1,1},som1.layers{1}.distances)

13
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

Ejemplo de SOM como clasificador:

COMPUTER VISION

planteamiento
Teniendo como datos de aprendizaje:
load datos2D_2clases_v6.mat

p.valor t.valor

14
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM

Ejemplo de SOM como clasificador:

COMPUTER VISION

resultados
SOM 8x1 SOM 8x8

C1 C2 C1 C2
C1 100 11 C1 101 6
C2 7 182 C2 6 187
15
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM
COMPUTER VISION

Ejercicio de SOM como clasificador

Partiendo de los datos del ejercicio anterior:

Estudiar la influencia sobre el resultado (grfico y

cuantificacin de los errores de test y de aprendizaje)
de los siguientes factores:
1. nmero de muestras de aprendizaje
2. orden de las muestras de aprendizaje
3. nmero de neuronas utilizadas
4. nmero de pocas de aprendizaje

16
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM

Ejercicio de SOM como

COMPUTER VISION

Generalizador de Funciones
Teniendo como datos de aprendizaje:
yd(i)=sin(xe(i))+normrnd(0,0.1);

17
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

Ejercicio de SOM como

COMPUTER VISION

Generalizador de Funciones
Partiendo de los datos del ejercicio anterior:

Estudiar la influencia sobre el resultado (grfico y

cuantificacin de los errores de test y de aprendizaje)
de los siguientes factores:

1. nmero de muestras de aprendizaje

2. orden de las muestras de aprendizaje
3. nmero de neuronas utilizadas
4. nmero de pocas de aprendizaje

18
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM
COMPUTER VISION
Ejemplo SOM: Estado Trafos
Entrada 5 dimensiones: % de H2 , CH4 C2H2 C2H4 C2H6
Salida bidimensional con U-matriz
Semntica manual supervisad

19
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

Compresin de vdeo
COMPUTER VISION

mediante SOM
secuencia original datos de entrenamiento

Mapa salida unidimensional

N neuronas 256 20
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM
COMPUTER VISION
Entrenamiento: evolucin
pesos neuronas

21
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

Compresin mediante SOM:

COMPUTER VISION

resultados

ECM=13,47

factor compresin: 1:16

bits/pixel: 0.5
H=0.4375

22
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM
COMPUTER VISION
Codificadores de smbolos:
Informacin de la fuente
Informacin de un evento con probabilidad P(E):
I(E)
I(E) = - log P(E)

Ejemplo: 1 P(E)
Dado con 8 caras equiprobables con valores: 1,1,1,1,2,2,3,4
suceso P(ai) I(ai)=-log2P(ai) cdigo
1 0,5 1 0
2 0,25 2 10
3 0,125 3 110
4 0,125 3 111
Informacin media de un evento: 0,5*1+0,25*2+0,125*3+0,125*3=1,75
Entropa de la fuente es la esperanza de la informacin de un
evento: H(z) = - P(ai) log P(ai) siendo z=(P(a1) ... P(ai))T
23
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM

Problemas y limitaciones de
COMPUTER VISION

los mapas auto-oganizados

Problemas:
- dimensin de la red?
- nmero de neuronas?
- velocidad y vecindad del aprendizaje?
- orden de introduccin de muestras?
Limitaciones:
- muestras cercanas activan neuronas distantes
- neuronas vecinas en pueden ser activadas
por muestras distantes

24
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM
COMPUTER VISION
Ejemplos SOM
Ejemplos con entradas 2D:
- Dimensin intrnseca 2
Mapa salida 2D
Mapa salida 1D
Dimensin intrnseca 1
Mapa salida 2D
Mapa salida 1D
Dimensin intrnseca entre 1 y 2
Mapa salida 2D
Mapa salida 1D
Parmetros:
Vecindad (0), factor de aprendizaje (0),
Numero de neuronas (fil, col), nmero de muestras (N)
tiempo caracterstico (), valores iniciales

25
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM
COMPUTER VISION

Nuevos retos en SOM

Aprendiendo la dimensionalidad intrnseca
y la resolucin por cada dimensin

dim. intr. 1
dim. intr. 2

26
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM
COMPUTER VISION
Nuevos retos en SOM
Aprendiendo la dimensionalidad intrnseca
y la resolucin por cada dimensin

dim. intr. ?
27
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM
COMPUTER VISION

Nuevos retos en SOM

Aprendiendo la dimensionalidad intrnseca
y la resolucin por cada dimensin
1

0.9

0.8

0.7

0.6

0.5

0.4

1
0.3

1x144
0.2 0.9

0.1 12x12 0.8

0 0.7
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Red 12x12
0.6

0.5

0.4

0.3

5x29
0.2

0.1

0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Red 5x29

28
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM
COMPUTER VISION
SOMOS

29
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM
COMPUTER VISION

SOMOS

30
P. Campoy Neural Networks and Pattern Recognition
 CVG-UPM
COMPUTER VISION
SOMOS

31
P. Campoy Neural Networks and Pattern Recognition

CVG-UPM
COMPUTER VISION

SOMOS

32
P. Campoy Neural Networks and Pattern Recognition