Mtodos de clasificacin

Introduccin Clasificacin Agrupamento (clustering) Seleccin de caractersticas

Mtodos de clasificacin

Dra. Eva Cernadas

Bibliografa

R. O. Duda, P. E. Hart e D. G. Stork, Pattern Classification, Ed. Jhon Willey and Sons, 2001. S. Theodoridis and K. Koutroumbas, Pattern recognition, Ed. Academic Press, 1999.

Mtodos de clasificacin

Dra. Eva Cernadas

Qu clasificar?
Dato de entrada Sistema Clasificador Categoria, clase, etiqueta, etc

Dato de entrada: z j Categora: l (z j ) Sistema: D : n

Dra. Eva Cernadas 3

Mtodos de clasificacin

Qu clasificar?

Mtodos de clasificacin

Dra. Eva Cernadas

Ciclo dun clasificador

Mundo real co problema
Adquisicin de datos Seleccin de caractersticas Non supervisado
Seleccin do mtodo de clustering Realizacin do clustering

Supervisado
Seleccin do mtodo de clasificacin Entrenamento e test

Solucin problema
Mtodos de clasificacin Dra. Eva Cernadas 5

Adquisicin de datos

Dispositivos de entrada non ambguos:

Ratos, teclados, etc. Cmaras, micrfonos, sensores de calquer tipo, etc.

Outros dispositivos:

Cmo o ordenador interpreta estes datos de entrada?

Dra. Eva Cernadas 6

Mtodos de clasificacin

Modelo clsico
dixitalizacin

Dependente do problema
Mtodos de clasificacin Dra. Eva Cernadas 7

Tipos de datos de entrada

Cuantitativos (numricos):

Continuos: lonxitude, temperatura, etc. Discretos: habitantes, etc. Ordinales Nominales: letras, profesins, etc.

Cualitativos (categricos):

Mtodos de clasificacin

Dra. Eva Cernadas

Seleccin de caractersticas

Mtodos escalares:

Mdidas de separabilidade de clases (discriminante de Fisher,) Mtodo de procura flotante (Floating search method) Anlise de compoentes principais (principal component analysis (PCA)). Redes neuronais
Dra. Eva Cernadas 9

Seleccin de caract. De vectores:

Mtodos globais:

Outros mtodos:

Mtodos de clasificacin

Agrupamento (clustering). Clasificacin non-supervisada

Algoritmos xerrquicos:

Aglomeratic algorithms (basados en teora de grafos ou matrices) K-means ou ISODATA, Fuzzy k-means, etc. Self-Organizing Maps (SOM) Adaptive Resonance Theory (ART) Growing Cell Structure (GCS)

Algoritmos non xerrquicos:

Algoritmos basados en redes neuronais:

Algoritmos basados en matemtica morfolxica Algoritmos basados en algoritmos xenticos

Dra. Eva Cernadas 10

Mtodos de clasificacin

Clasificadores supervisados

Basados en distancias

Clasificador de minima distancia K-nn (k-nearest neighbors) Clasificador de Bayes, Parzen, etc.

Estadsticos

Sintcticos Conexionistas

Perceptron multicapa (MLP) Radial Basis Funcions (RBF), etc. Mquinas de Soporte Vectorial (SVM)

Combinacin e fusin de clasificadores

Dra. Eva Cernadas 11

Mtodos de clasificacin

Exactitude dun sistema de clasificacin

Estima-lo erro da clasificacin: proporcin de obxetos erroneamente clasificados polo clasificador no conxunto de test. Matrices de confusin Matrices de prdida
Dra. Eva Cernadas 12

Mtodos de clasificacin

Exactitude dun sistema de clasificacin

Dada unha clase:

TP: True Positive:patrns desa clase asignados a esa clase. FP: False Positive: patrns non desa clase asignados a esa clase. TN: True Negative: patrns doutras clases que non son asignados a esa clase. FN: Patrns desa clase que son asignados a outra clase.
Dra. Eva Cernadas 13

Mtodos de clasificacin

Matriz de confusin

ROC curves (Receive Operating Characteristics)

Mtodos de clasificacin

Dra. Eva Cernadas

14

Exactitude dun sistema de clasificacin

Para cada clase:

TP Se = Sensibilidade: TP + FN TP Predictividade Positiva: PP = TP + FP

Especificidade:

FP ES = FP + TN
Dra. Eva Cernadas 15

Mtodos de clasificacin

Matrices de confusin: exemplo

Categora proporcionada polo clasificador Categora proporcionada polo clasificador

A A B C D
80 10 5 5

B
5 80 10 5

C
5 5 80 10

D
10 5 5 80

A A B C D
100 10 5 20

B
0 80 0 5

C
0 5 90 0

D
0 5 5 75

Categora real

Categora real

Qu clasificador escolleras?
Mtodos de clasificacin Dra. Eva Cernadas 16

Entrenamento e test

Entrenamento: proceso de axuste dos parmetros do clasificador problema. Conxunto de entrenamento: patrns usados para configura-lo clasificador.Test: proceso de avaliacin da calidade do clasificador. Conxunto de test: patrns usados para avaliar.
Dra. Eva Cernadas 17

Mtodos de clasificacin

Entrenamento e test

Mtodo de re-substitucin: estimacin optimista do erro. Holdout method: erro dependente do conxunto de test elexido. Mtodo de validacin cruzada: complexidade computacional. Conxuntos de entrenamento, validacin e test.
Dra. Eva Cernadas 18

Mtodos de clasificacin

Comparacin experimental de clasificadores

Posibles variantes:

Diferentes conxuntos test. Varios conxuntos de entrenamento. A aleatoriedade interna do algoritmo de entrenamento

Cmo comparar clasificadores?

Dra. Eva Cernadas 19

Mtodos de clasificacin

Exemplo: emparellamento con modelos

Modelos

Datos de entrada

Mtodos de clasificacin

Dra. Eva Cernadas

20

Funcins discriminantes

Caso ideal:

Caso real:

Mtodos de clasificacin

Dra. Eva Cernadas

21

Clasificadores de mnima distancia (I)

Qu definicin de distancia?
Dra. Eva Cernadas 22

Mtodos de clasificacin

Clasificadores de mnima distancia (II): Mtricas

Eucldea: Manhatan:

2 2 u = u12 + u2 + ... + un

u = u1 + u2 + ... + un

Mahalanobis:

Mtodos de clasificacin

Dra. Eva Cernadas

23

Clasificadores de mnima distancia (III)

d (x ) = (x i ) =
i e

k = n 1 k =0

(x

k i

i (x ) = dm

(x i )T 1 (x i )
24

Mtodos de clasificacin

Dra. Eva Cernadas

Fronteiras de decisin

Rexins de decisin. Fronteiras de decisin

Cl a fronteira de clase dun clasificador de mnima distancia?

Mtodos de clasificacin

Dra. Eva Cernadas

25

Fronteiras de decisin

Rexins de Voronoi (con distancia eucldea)

Mtodos de clasificacin Dra. Eva Cernadas 26

Limitacins dos clasificadores de mnima distancia

Caractersticas non axeitadas Caractersticas correlacionadas Fronteiras non lineais Diferentes agrupamentos representan a mesma clase Espacio de caractersticas complexo
Dra. Eva Cernadas 27

Mtodos de clasificacin

Clasificadores supervisados

Dado un problema,

Cl o clasificador que debo utilizar? Seleciono caractersticas? Cmo decido o conxunto de entrenamento e test?

Mtodos de clasificacin

Dra. Eva Cernadas

28