Clase2 PDF

11
Descubrimientode conocimiento a Partir de Datos

Dr . Ma r c e l o G. Dr . Ma r c e l o G. Ar me n t a n o Ar me n t a n o
I SI STAN, F a c . d e Cs . Ex a c t a s , UNI CEN I SI STAN, F a c . d e Cs . Ex a c t a s , UNI CEN
Aprendizaje Inductivo
Concepto
Clasificacin
rboles de Decisin
Clasificador Bayesiano
Clustering
K-means
Clustering jerrquico
Agenda
Dr. Marcelo G. Armentano - ISISTAN - UNICEN
Induccin vs. Deduccin
Argumento deductivo
A ninguno de los alumnos le gusta matemticas. Juan es
un alumno a Juan no le gusta matemticas
Argumento inductivo
A ninguno de los alumnos que fueron entrevistados les
gusta matemticasa ningn alumno le gusta
matemticas
Aprendizaje por induccin
La descripcin de un concepto, o clasificador, se
induce a partir de un conjunto de instancias dadas del
concepto (ejemplos)
No puede garantizarse correctitud
Es importante la interpretacin humana
Jerarqua de aprendizaje
Aprendizaje
Inductivo
Aprendizaje
Supervisado
Clasificacin
Regresin
Aprendizaje no
supervisado
Clustering
22
Concepto
Clasificacin
rboles de Decisin
Clustering
Agenda
El objetivo de la clasificacin de datos es organizar y
categorizar los datos en clases diferentes
Se crea un modelo basndose en la distribucin de los datos
El modelo es luego usado para clasificar nuevos datos
Dado el modelo, se puede predecir la clase de un nuevo
dato
Si se deduce un valor discreto Clasificacin
Si se deduce un valor continuo Regresin
Clasificacin
Transformacin de datos
Discretizacin de datos continuos
Normalizacin a [-1..1] o [0..1]
Generalizacin
Limpieza de datos
Suavizado para reducir el ruido y completar valores faltantes
Anlisis de relevancia (Feature Selection)
Seleccin de caractersticas para eliminar atributos redundantes e
irrelevantes
Preparacin de los datos
Aprobacin de crditos
Diagnstico mdico
Identificacin de partes defectuosas en
manufactura
Deteccin de SPAM
Etiquetado de emails
Clasificacin de documentos
Clasificacin de usuarios
...
Aplicaciones
Proceso de clasificacin
Terminologa
Datos
Datos de
Entrenamiento
Datos de
Prueba
Derivar
Clasificador
(Modelo)
Estimar
Exactitud
33
Cada tupla se supone que pertenece a una clase
predefinida, dada por uno de los atributos, llamada
etiqueta de clase
El conjunto de todas las tuplas usadas para la construccin
del modelo se llama conjuntode entrenamiento
El modelo se representa mediante alguna tcnica. Por
ejemplo:
Reglas de clasificacin(sentencias IF-THEN)
rbol de decisin
Frmulas matemticas
Terminologa
Aprendizaje
Algoritmos de
Clasificacin
Clasificador
(Modelo)
Datos de
Entrenamiento
Se estima la exactitud del modelo basndose en un
conjunto de prueba
Se compara la etiqueta conocida de una muestra de
prueba con el resultado de aplicar el modelo de
clasificacin
Accuracy rate (precisin) es el porcentaje de muestras
del conjunto de test que son correctamente clasificadas
por el modelo
El conjunto de test es independiente del conjunto de
entrenamiento (mtodo holdout)
Evaluacin del modelo
Evaluacin de Exactitud
Clasificador
(Modelo)
Datos de
Entrenamiento
Qu tan preciso es el modelo?
Holdout
Los datos se particionanaleatoriamente en 2 conjuntos independientes:
training set (2/3 de los datos) y test set (1/3 de los datos)
Randomsubsampling
Holdout k veces
K-fold cross validation
Datos iniciales particionados en k subconjuntos mutuamente excluyentes
de aproximadamente igual tamao. Se hace training y testing k veces, se
calcula la exactitud promediando los resultados.
Stratisfiedcross-validation
Los subconjuntos son armados de tal manera que la distribucin de clase de
los ejemplos en cada uno es aproximadamente igual a la que tienen los
datos iniciales
Tasa de Error
Precisin
n
x h y
h error
n
i
i i
=
=
1
) (
) (
) ( 1 ) ( h error h precisin =
44
Matriz de Confusin
Etiqueta
de clase
Predicciones C1 Predicciones C2 ... Predicciones Ck
Verdaderos
C1
M(C1,C1) M(C1,C2) ... M(C1,Ck)
Verdaderos
C2
M(C2,C1) M(C2,C2) ... M(C2,Ck)
... ... ... ... ...
Verdaderos
Ck
M(Ck,C1) M(Ck,C2) ... M(Ck,Ck)
=
= =
} : ) , ( {
) ( ) , (
i
C y T y x
j j i
C x h C C M
M(Ci, Ci) Casos correctamente clasificados
M(Ci, Cj) ij Errores de clasificacin
Clasificador ideal
C1 C2 ... Ck
C1 M(C1,C1) 0 ... 0
C2 0 M(C2,C2) ... 0
... ... ... ... 0
Ck 0 0 ... M(Ck,Ck)
Precisin
De la cantidad de veces que se predijo una clase, cuntas
fueron correctas?
Recall
Se encontraron todos los ejemplos que pertenecen a la
clase?
Evaluacin del Modelo (Documentos)
Clase real
Prediccin
Verdaderos positivos (vp) Falsos positivos (fp)
Falsos negativos (fn) Verdaderos negativos
(vn)
Precisin y recall
fp vp
vp
precisin
+
=
fn vp
vp
recall
+
=
El modelo se utiliza para clasificar nuevos objetos
Dar una etiqueta de clase a una nueva tupla
Predecir el valor de un atributo
Uso del modelo - Clasificacin
Clasificador
(Modelo)
Nuevos
Datos
Bagging: ej. consulto varios doctores y me quedo con la
opinin mayoritaria (la que tenga ms votos)
Boosting: ej. pondero cada diagnstico segn la exactitud
del mdico (del clasificador)
Mejorar la precisin: Clasificadores
compuestos
Clasificador 1 Clasificador 1
Clasificador 2 Clasificador 2
Clasificador n Clasificador n
Combinar
predicciones
Datos
55
rboles de decisin
Redes Neuronales
Clasificacin basada en asociacin
Vecino ms cercano
Razonamiento Basado en Casos
Algoritmos Genticos
Modelos de Markov
...
Mtodos de clasificacin
Exactitud de prediccin
Habilidad del modelo de predecir correctamente la etiqueta de clase
de nuevos ejemplos
Velocidad
Tiempo para construir el modelo
Tiempo para usar el modelo
Robustez
Manejo de valores faltantes y ruido
Escalabilidad
Eficiencia en grandes bases de datos
Facilidad de interpretacin
Nivel de entendimiento provisto por el modelo
Evaluacin y comparacin de
mtodos de clasificacin
Clasificacin
rboles de Decisin
Clustering
Agenda
rboles de Decisin
Un rbol de decisin es una estructura de datos
definida recursivamente como:
Un nodo hoja que contiene una clase
Un nodo de decisin que contiene una comprobacin
sobre algn atributo. Para cada resultado de esa
comprobacin existe un subrbol hijo, con la misma
estructura descripta.
Ejemplo
El paciente
se siente bien
El paciente
tiene dolor
Temperatura
del paciente
Enfermo
Enfermo
Sano
Sano
Si
Si
No
No
<=37 >37
66
Ejemplo: Datos de entrenamiento
Ejemplo rbol de decisin
Utilizacin del rbol
Directamente
Verificar el valor de un atributo de un ejemplo no
conocido con el rbol
Se sigue el camino desde la raz a la hoja que posea la
etiqueta
Indirectamente
El rbol de decisin se convierte en reglas de
clasificacin
Se crea una regla por cada camino de la raz a las hojas
Las reglas IF-THEN son ms fciles de entender
Partir desde la raz
Avanzar por los nodos de decisin hasta alcanzar una hoja
La clase del nuevo ejemplo es la clase que representa la
hoja.
Clasificacin de nuevos ejemplos
B
C
A
A B
Clase
Asociada
Nuevo Ejemplo
Atributo1=..
Atributo2=..
Clase = A
Si El paciente se siente bien = Si entonces
Clase = Sano
Sino
Si El paciente tiene dolor = No entonces
Si Temperatura del paciente <= 37 entonces
Clase = Sano
Sino (Temperatura del paciente > 37)
Clase = Enfermo
Sino (El paciente tiene dolor = Si)
Clase = Enfermo
Equivalente en reglas
El paciente
se siente bien
El paciente
tiene dolor
Temperatura
del paciente
Enfermo
Enfermo
Sano
Sano
Si
Si
No
No
<=37 >37
Equivalente en reglas
Si El paciente se siente bien = Si entonces
Clase = Sano
Si El paciente se siente bien = No and El paciente tiene
dolor = No and Temperatura del paciente <=37 entonces
Clase = Sano
dolor = No and Temperatura del paciente >37 entonces
Clase = Enfermo
dolor = Si entonces
Clase = Enfermo
77
La generacin de rbol bsica de arriba hacia abajo
consiste de dos fases:
Construccin del rbol
Al inicio todos los ejemplos de entrenamiento estn en la
raz
La particin de los ejemplos se realiza recursivamente
basndose en la seleccin de atributos
Podado del rbol
Tiene por objetivo eliminar ramas del rbol que reflejen
ruido en los datos de entrenamiento y lleven a errores
cuando se clasifiquen los datos de test mejorar la
exactitud de clasificacin
Construccin del rbol de decisin
T contiene uno o ms ejemplos, todos pertenecientes a la
misma clase Cj Hoja (clase Cj)
T no tiene ejemplos Hoja (la clase debe determinarse a partir
de la informacin anterior a T)
T contiene ejemplos pertenecientes a varias clases
refinar T en subconjuntos de ejemplos que aparentan pertenecer a
la misma clase
Aplicar los pasos 1, 2 y 3 recursivamente para cada
subconjunto de ejemplos de entrenamiento
Podar el rbol
La recursin termina cuando:
Los ejemplos en el nodo correspondena la misma clase
No quedan ms atributos sobre los cuales separar (hoja
conclase mayoritaria)
No hay ejemplos con el valor del atributo (para la rama)
Es posible que el clasificador obtenido se ajuste
demasiado a los ejemplos de entrenamiento
overfitting
Poda
Error
Ejemplos
de testeo
Ejemplos de
entrenamiento
N1 N1 N2 N2 N3 N3
Cantidad de nodos
(comprobaciones)
Un rbol generado puede estar sobre-entrenado para los
ejemplos de entrenamiento debido a ruido o tamao
pequeo del conjunto de entrenamiento. Resulta en baja
exactitudde clasificacinde nuevos ejemplos.
Existen 2 enfoques para evitar overfitting
Parar antes (Pre-poda): detener el crecimiento del rbol antes que se
produzca, decidiendo no particionar uno o ms nodos
Podado: se construye todo el rbol, se permite overfitting y luego se
poda el rbol. Se elige el rbol con menor tasa de error.
Overfitting
Podar el rbol: transformar un subrbol en una hoja
Usar un conjunto de datos diferentes del conjunto de
entrenamiento (conjunto de poda)
En un nodo del rbol, si la precisin sin particionar el
nodo es ms alta que la precisin particionando el nodo,
reemplazar el subrbol por una hoja, etiquetndolo con
la clase mayoritaria
Podado del rbol
88
Interpretacin geomtrica
Considerar cada ejemplo como un vector de m
atributos
Un AD se corresponder con una divisin (por cada
comprobacin) de este espacio en regiones
Cada regin se corresponde a una clase
Ejemplo
2 atributos reales
2 clases (+ y o)
Comprobaciones del tipo Xi op Valor
Xi {X
1
, X
2
}
Op es un operador en el conjunto {<=, >}
Valor es un nmero real
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
++
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
++
++
++ ++
++
++
++
++
++
++
++
++ ++
++
++
++
++ ++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
oo oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
X2 X2
X1 X1
10 10 55
88
X1 X1
++
<=10 <=10
>10 >10
X2 X2
oo
<=8 <=8 >8 >8
X1 X1
++ oo
>5 >5 <=5 <=5
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
++
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
++
++
++ ++
++
++
++
++
++
++
++
++ ++
++
++
++
++ ++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
++
oo oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
oo
X2 X2
X1 X1
10 10 55
88
X1 X1- -X2 X2
++
<=4 <=4
>4 >4
00
Combinacin lineal de atributos
c1 + c2*X1 + ... + cm*Xm Op Valor
Ci: constantes
Xi: atributos continuos (enteros o reales)
Op: un operador del conjunto {<,<=,>,>=}
Valor: una constante
Ejemplo
Ejemplo Apariencia Temperatura Humedad Viento Viajar?
T1 Soleado 25 72 Si Viajar
T2 Soleado 28 91 Si No viajar
T3 Soleado 22 70 No Viajar
T4 Soleado 23 95 No No viajar
T6 Nublado 23 90 Si Viajar
T7 Nublado 29 78 No Viajar
T8 Nublado 19 65 Si No viajar
T11 Lluvia 22 95 No Viajar
T12 Lluvia 19 70 Si No viajar
Apariencia
Soleado
Nublado
Lluvia
99
Ejemplo
Comprobacin Ejemplo Apariencia Temperatura Humedad Viento Viajar?
Si apariencia
= Soleado
Si apariencia
= Nublado
Si apariencia
= Lluvia
Comprobacin Ejemplo Apariencia Temp. Humedad Viento Viajar?
Si apariencia =
Soleado y humedad
<=78
Si apariencia =
Soleado y humedad
>78
Si apariencia =
Nublado y humedad
> 70
Si apariencia =
Nublado y humedad
<= 70
Si apariencia =
Lluvia y Viento = No
Si apariencia =
Lluvia y viento = Si
Ejemplo
Apariencia
Soleado
Nublado
Lluvia
Humedad Viento
No viaja Viaja
<=78 >78
Humedad
Viaja No viaja
<=70 >70
No viaja Viaja
Si No
Viaja
Comprobacin Ejemplo Apariencia Temp. Humedad Viento Viajar?
Si apariencia =
Soleado y humedad
<=78
Si apariencia =
Soleado y humedad
>78
Si apariencia =
Nublado
T9
T10
Nublado
Nublado
26
20
75
87
No
Si
Viajar
Viajar
Si apariencia = Lluvia
y Viento = No
Si apariencia = Lluvia
y viento = Si
Criteriode separacin
Usado para seleccionar el atributo para separar en un nodo del rbol
durante la fase de generacin del rbol
Diferentes algoritmos pueden usar distintas funciones: ganancia de
informacin, gini, etc.
Esquema de ramificado
Determinar la rama a la cual pertenece una muestra
Separacin binaria (gini) versus separacin mltiple (ganancia de
informacin)
Decisiones de terminacin
Cuando detenerse y dejar de separar un nodo (medida de impureza)
Reglas de etiquetado
Un nodo es etiquetado como la clase a la cual pertenecen la mayora
de los ejemplos que pertenecen a l
Cuestiones principales en la
construccin de rboles
Aleatoria
Menos valores
Ms valores
Ganancia de informacin (mxima)
ndice Gini (Breiman, Friedman, Olshen, & Stone 1984)
Razn de ganancia (Quinlan 1993)
Eleccin del mejor atributo para
clasificar
10 10
S={s1, s2, ..., sn} alfabeto de una fuente de
informacin de memoria nula
La cantidad media de informacin por smbolo del
alfabeto S se denomina entropa de S, se representa por
H(S)
Entropa
=
=
n
i i
i
s p
s p S H
1
2
)
) (
1
( log ) ( ) (
Entropa
0 H(S) log2(|S|)
H(S) es mxima cuando los smbolos son
equiprobables
H(S) es 0 cuando p(s
j
)=1 y p(s
i
)=0 para todo ji
Para un alfabeto binario:
1.0 1.0
0.5 0.5
0.0 0.0 0.5 0.5 1.0 1.0
P(s) P(s)
H(s) H(s)
Se calcula la entropa del nodo N
H(E
i
)=p
+
log
2
(1/p
+
)+p
-
log
2
(1/p
-
)
Se calcula el valor medio de la entropa del nivel
siguiente, generado por el atributo X al que se est
aplicando el test
H(X, E
i
)=p(X=v
1
/E
i
)H(E
i1
)+...+
p(X=v
n
/E
i
)H(E
in
)
Algoritmo ID3
VV
11
,v ,v
22
, ,,,vv
nn
valores posibles del atributo X valores posibles del atributo X
EE
ij ij
EE
ii
tal que X= tal que X=vv
jj
Se elige el atributo que maximice la ganancia
Ganancia(X)=H(Ei)-H(X,Ei)
Algoritmo ID3
El atributo que tiene mayor ganancia de informacin se
utiliza para particionar
Minimizar la informacin que se necesita para clasificar
ejemplos en las particiones resultantes
Mide qu tan bien separa los ejemplos de entrenamiento de
un conjunto dado de acuerdo a su clasificacin objetivo
(impurezas)
Minimiza el nmero esperado de tests que se necesitan
para clasificar un objeto y garantiza la construccin de un
rbol simple.
Algoritmo ID3
Ejemplos Estatura Pelo Ojos Clase
e
1
Baja Rubio Azules +
e
2
Alta Rubio Castaos -
e
3
Alta Pelirrojo Azules +
e
4
Baja Moreno Azules -
e
5
Alta Moreno Azules -
e
6
Alta Rubio Azules +
e
7
Alta Moreno Castaos -
e
8
Baja Rubio Castaos -
ID3 - Ejemplo
11 11
3 ejemplos en clase -; 5 ejemplos en clase +
H(E)= 3/8*log
2
(8/3) + 5/8*log
2
(8/5) = 0.954
E
1
= {Ejemplos de E que tienen pelo=moreno}
E
2
= {Ejemplos de E que tienen pelo=pelirrojo}
E
3
= {Ejemplos de E que tienen pelo=rubio}
ID3 Ejemplo
Prof.Dra. Silvia Schiaffino
ID3 - Ejemplo
E = {e
1
, e
2
, e
3
, e
4
, e
5
, e
6
, e
7
, e
8
}
E
1
= {
e
4
: baja, moreno, azul, -
e
5
: alta, moreno, azul, -
e
7
: alta, moreno, marrones, -}
E
2
= {
e
3
: alta, pelirrojo, azul, +}
E
3
= {
e
1
: baja, rubio, azul, +
e
2
: alta, rubio, marrones, -
e
6
: alta, rubio, azul, +
e
8
: baja, rubio, marrones, -}
moreno pelirrojo rubio
H(pelo, E) = p(pelo=moreno/E)*H(E
1
)+
p(pelo=pelirrojo/E) *H(E
2
)+
p(pelo=rubio/E) *H(E
3
)
H(E1)=p+*log2(1/p+)+p-*log2(1/p-) = 0*log2(1/0)+1*log2(1/1) = 0
H(E2)=p+*log2(1/p+)+p-*log2(1/p-) = 1*log2(1/1)+0*log2(1/0) = 0
H(E3)=p+*log2(1/p+)+p-*log2(1/p-) = 2/4*log2(4/2)+2/4*log2(4/2)
= 0.5 + 0.5
= 1
H(pelo,E) = 3/8 *0 + 1/8 *0 +4/8 *1 = 0.5
Ganancia(pelo) = 0.954 0.5 = 0.454
ID3 - Ejemplo ID3 - Ejemplo
Ganancia(pelo) = 0.454
Ganancia(estatura)= 0.003
Ganancia(ojos) = 0.347
pelo pelo
ojos ojos
marrones azules
moreno
pelirrojo
rubio
++ - -
- - ++
Poda:
C4.5 efecta la poda despus de haber construido el
rbol
Estima el error de clasificacin sobre ejemplos
posteriores
Nivel de confianza (por defecto 25%)
Se compara el error estimado para un conjunto de hojas,
hijas todas de un mismo nodo, y el error estimado para
el padre en caso de podar sus hojas.
Decidida la poda de las hojas se repite la operacin en un
nivel superior, hasta que la poda no proceda.
C4.5 - Poda
Dr. Marcelo G. Armentano - ISISTAN - UNICEN Dr. Marcelo G. Armentano Dr. Marcelo G. Armentano -- ISISTAN ISISTAN -- UNICEN UNICEN
12 12
Clasificacin
rboles de Decisin
Clustering
Agenda
Es un clasificador estadstico basado en el Teorema de Bayes
Usa aprendizaje probabilstico para calcular explcitamente las
probabilidades de las hiptesis
Un clasificador bayesiano simple o naive asume independencia total
entre atributos
Funciona bien con grandes conjuntos de datos y tiene alta precisin de
clasificacin
El modelo es incremental es el sentido que cada ejemplo de
entrenamiento puede aumentar o disminuir la probabilidad de que una
hiptesis sea correcta. Conocimiento previo puede combinarse con
datos observados
El objetivo de un clasificador es identificar a qu clase pertenece un
objeto, basndose en ciertos atributos.
Consideremos un objeto X, cuyos atributos son (a
1
,a
2
...a
n
), y queremos
clasificarlo dentro de un conjunto de clases S. Trataremos de encontrar
una clase A que maximice P(A| a
1
,a
2
...a
n
).
Podemos decir entonces:
Es muy probable que X pertenezca a la clase A porque para un objeto,
dada la condicin de tener los atributos (a
1
,a
2
...a
n
), la probabilidad de
que la clase sea A es mxima."
Atributos: palabras que aparecen en el ttulo del mail
Clases: S = (spam, no spam)
Ej: Oferta increble compre ya
Es spamo no? Lo determina el mximo de:
P(S = spam| {oferta, increible, compre, ya})
P(S = no spam| {oferta, increible, compre, ya})
Ejemplo: Clasificacin de correo
electrnico
Dado un objeto X con etiqueta de clase desconocida,
H es la hiptesis de que X pertenece a una clase C
La probabilidad a posteriori de la hiptesis H, P(H/X), sigue el
teorema de Bayes
P(H/X) = P(X/H) P(H)
P(X)
P(H/X) probabilidad a posteriori
P(H), P(X) probabilidad a priori (datos)
P(X/H) probabilidad a posteriori (que un objeto sea redondo y rojo dado
que es una manzana)
Teorema de Bayes
X={redondo, rojo} X={redondo, rojo}
H=manzana H=manzana
Supongamos que tenemos n clases C
1
, C
2
,..., C
n
. Dado un
ejemplo desconocido A, el clasificador predecir que
A=(a
1
,...,a
m
) pertenece a la clase con la mayor probabilidad
a posteriori:
A C
i
si P(C
i
/A) > P(C
j
/A) para 1 j n, j i
Maximizar P(A/C
i
) P(C
i
) / P(A) Maximizar P(A/C
i
) P(C
i
)
P(C
i
) = s
i
/s
P(A/C
i
) = P(a
1
,...,a
m
/C
i
)
Clasificador Naive Bayes
13 13
Siempre que (a
1
,a
2
...a
n
) sean condicionalmente
independientes unas de otras.
Dado que P(a
i
|C) se obtiene fcilmente de los datos de
entrenamiento, el clasificador tiene que encontrar una
clase c
j
que maximice la expresin:
Suposicin de Naive Bayes
=
=
n
i
i n
C a P C a a a P
1
2 1
) | ( ) | ,..., , (
n
i
j i C c
c a P
j
1
) | ( max arg
Ejemplo
Tamao Precio Peso Color compro?
Grande Barato Pesado azul Si
Grande Caro Medio Azul No
Chico Caro Medio Verde Si
Chico Barato Liviano Azul No
Chico Caro pesado Verde No
((chico, barato, pesado, azul chico, barato, pesado, azul), ), compro compro? ?
P(L = Si | T = Chico, Pr = Barato, P = Pesado, C = Azul) y
P(L = No |T = Chico, Pr = Barato, P = Pesado, C = Azul)
Equivalente a:
(1): P(L = S) P(T = Chico | L = S) P(Pr = Barato|L = S) P(P = Pesado | L = S)
P(C = Azul|L = S)
(2): P(L = N) P(T = Chico | L = N) P(Pr = Barato|L = N) P(P = Pesado | L =
N) P(C = Azul|L = N)
Resultados:
(1): (2/5)(1/2)(1/2)(1/2)(1/2) = 0.025
(2): (3/5)(2/3)(1/2)(1/3)(2/3) = 0.044
Ejemplo
Dr. Marcelo G. Armentano - ISISTAN - UNICEN Dr. Marcelo G. Armentano Dr. Marcelo G. Armentano -- ISISTAN ISISTAN -- UNICEN UNICEN
Clasificacin
rboles de Decisin
Clustering
Agenda
Clustering es un proceso de aprendizaje no supervisado
Las clases no estn predefinidas sino que deben ser
descubiertas dentrode los ejemplos
Primariamente es un mtodo descriptivo para
interpretar unconjuntode datos
Particionar ejemplos de clases desconocidas en
subconjuntos disjuntos de clusters tal que:
Ejemplos en un mismo cluster sean altamente similares entre s
Ejemplos en diferentes clusters sean altamente disimiles entre s
Clustering: Concepto
14 14
Clustering: Concepto
Espacio de
caractersticas
Deportes Deportes
Poltica Poltica
Msica Msica
Clasificacin supervisada = clasificacin
Conocemos las etiquetas de clase de las instancias y el
nmero de clases
Clasificacin No supervisada = clustering
No conocemos las clases de los ejemplos y posiblemente
tampoco en nmero de clases/clusters
Supervisado vs. No supervisado
Reconocimiento de patrones
Procesamiento de imgenes
Investigacin de mercado
Web mining
Categorizacin de documentos
Clustering en Web logs
Como preprocesamientopara otras tcnicas de data mining
Aplicaciones
Un buen mtodo de clustering debera identificar clusters
que sean tanto compactos como separados entre s. Es
decir, que tengan:
Alta similaridad intra-cluster
Baja similaridad inter-cluster
Un buen mtodo debiera descubrir algunos o todos los
patrones ocultos en los datos
La calidad del mtodo de clustering depende de la medida
de similitud
Caractersticas
Hardclustering: Cada instancia pertenece a un nico
cluster
Soft clustering: asigna probabilidades de pertenencia de
una instancia a ms de un cluster
Hard clustering vs. Soft clustering
Algoritmos basados en particionamiento: construyen
varias particiones y las evalan siguiendo algn criterio
Algoritmos jerrquicos: crean una jerarqua que
descompone el conjunto de datos usando algn criterio.
Basados en modelos: se supone (hiptesis) un modelo
para cada cluster y se trata de encontrar el modelo que
mejor se adapte al cluster.
Tipos de clustering
15 15
Construyen una particin del conjunto de datos Dde n
objetos en un conjunto de k clusters
Dado un k, intentan encontrar una particin de k clusters
que optimiza el criterio de particionamiento
Alg. Basados en Particionamiento
Asume que las instancias son vectores de valores reales
Los clusters se basan en centroides/medias:
Las instancias se reasignan a clusters en base a su distancia
a los centroides
K-Means
=
c x
x
c | |
1
(c)
Dado k (nmero de clusters) y el conjunto de datos n:
1. Arbitrariamente elegir k objetos como centros
iniciales de cluster (semillas)
2. Repetir hasta que el algoritmo converja
(re)asignar cada objeto al cluster con el cual el objeto
sea ms similar
Actualizar los centroides
K-Means
Elegir semillas Elegir semillas
Reasignar Reasignar clusters clusters
Calcular centroides Calcular centroides
xx
xx
Reasignar clusters Reasignar clusters
xx
xx
xx
xx
Calcular centroides Calcular centroides
Reasignar clusters Reasignar clusters
Converge Converge
K-Means
K=2 K=2
Ventajas:
Entre los algoritmos de particionamiento es eficiente
Implementacin sencilla
Desventajas:
Necesito conocer k de antemano
Sensible a ruido
El resultado puede variar en base a las semillas elegidas al inicio
Algunas semillas pueden resultar en una tasa de convergencia
menor
La seleccin de semillas se puede basar en heursticas o resultados
obtenidos por otros mtodos
Puede caer en mnimos locales
No trata datos nominales (K-Modes)
K-Means
Clustering Jerrquico
Un dendograma muestra como se mezclan los clusters de
manera que cortando el dendograma en diferentes nivel se
consiguendifferentes clusters
3 3 clusters clusters
16 16
Representaciones
aa bb cc dd ee ff
aa
bb
cc
dd
ee
ff
Construye un rbol binario o dendograma a partir de un
conjunto de ejemplos:
Aglomerativo (bottom-up) mtodos que comienzan
con cada ejemplo en un cluster diferente y combinan
iterativamente los clusters para formar clusters mayores
(Ej. AGNES, Agglomerative Nesting [Kaufman90])
Divisivo (top-down) mtodos que comienzan con todos
los ejemplos en un mismo cluster y los separan en
clusters ms chicos (Ej. DIANA, Divisive Analysis
[Kaufman90])
Clustering Aglomerativo:
1. Comienza con todas las instancias en un cluster
separado (cada instancia es un cluster)
2. Hasta que quede un nico clster
1. Entre todos los cluster existentes determinar los dos
clusters c
i
y c
j
que son ms similares
2. Reemplazar c
i
y c
j
por un nico cluster c
i
c
j
Asume una funcin de similitud que determina la
similitud de dos instancias: sim(x,y)
Por ejemplo la similitud del coseno o coeficiente de
correlacin de Pearson
Asume una funcin de similitud que determina la
similitud de dos clusters conteniendo multiples
instancias:
Single Link: similitud de los dos elementos del cluster ms similares
Complete Link: similitud de los dos elementos del cluster menos similares
GroupAverage: promedio de similitudes entre los elementos del cluster
Distancia Euclideana
Similitud entre elementos
=
=
N
n
n n
y x y x d
1
2
) ( ) , (
r r
=
N
x
x
x M
r
1
=
N
y
y
y M
r
1
Similitud del coseno
y x
y x
N
y x C
N
i
i i
r r
r r
=1
cosine
1
) , (
y x
r r
= y x
r r
=
=
N
x
x
x M
r
1
=
N
y
y
y M
r
1
1 ) , ( 1
cosine
+ y x C
r r
17 17
Coeficiente de correlacin de Pearson
=
N
x
x
x M
r
1
] ) ( ][ ) ( [
) )( (
) , (
1
2
1
2
1

= =
=

=
N
i
y i
N
i
x i
N
i
y i x i
pearson
m y m x
m y m x
y x C
r r
=
N
y
y
y M
r
1
x
r
y
r
x
r
y
r
=
=
N
n n x
x
N
m
1
1
=
=
N
n n y
y
N
m
1
1
1 ) , ( 1
pearson
+ y x C
r r
Similitud entre clusters
Single link Single link
Complete link Complete link
Group Group Average Average
) , ( max ) , (
,
y x sim c c sim
j i
c y c x
j i

= ) , ( min ) , (
,
y x sim c c sim
j i
c y c x
j i

=
Clustering de documentos
AA BB CC DD
Dist A B C D
A 20 7 2
B 10 25
C 3
D
Matriz de Distancias Matriz de Distancias Documentos iniciales Documentos iniciales
AA BB CC DD
Dist A B C D
A 20 7 2
B 10 25
C 3
D
Matriz de Distancias Matriz de Distancias Documentos iniciales Documentos iniciales
AA DD CC BB
Dist A B C D
A 20 7 2
B 10 25
C 3
D
Matriz de Distancias Matriz de Distancias Documentos Documentos iniciales iniciales
22
AA DD CC BB
Dist A B C
AD 20 7
B 10 25
C 3
D
Matriz de Distancias Matriz de Distancias Clusteres Clusteres actuales actuales
22
18 18
AA DD CC BB
Dist AD B C
AD 20 3
B 10
C
AA DD CC BB
Dist AD B C
AD 20 3
B 10
C
AA DD CC BB
Dist AD B C
AD 20 3
B 10
C
33
AA DD CC BB
Dist
ADC
B
ADC
10
B
AA DD CC BB
Dist
ADC
B
ADC
10
B
AA DD CC BB
Dist
ADC
B
ADC
10
B
10 10
19 19
AA DD CC BB
Dist
AD
CB
AD
CB
Ventajas:
No se necesita conocer el nmero de clusters k
Se puede explorar el dendograma en diferentes niveles,
ms rico para el anlisis de los datos que el
particionamiento
Desventajas:
No puede recuperarse de decisiones incorrectas
Computacionalmente costoso
MovieRecommender: sistema de recomendacin de
pelculas que utiliza filtrado colaborativo
Sugiere pelculas basndose en la similitud de intereses del
usuario actual con otros usuarios cercanos
Anlisis de diferentes algoritmos
de clustering para armar comunidades
de usuarios similares
Ejemplo: Comunidades de usuarios
en sistemas de recomendacin
Ejemplo: Comunidades de usuarios
en sistemas de recomendacin
Otros algoritmos de clustering
Basados en modelo
Redes Neuronales
SOM: Self organizing maps [Kohonen 81]
Machine Learning
COBWEB (clustering conceptual) [Fisher 87]
Estadsticos
Gaussian Mixture Model [Raftery 93]
Autoclass (Bayesiano) [Cheeseman 96]
Evaluacin
Medidas de calidad internas: miden las propiedades
internas de los clusters
) , ' (
| |
1
2
d d sim
S
20 20
Medidas de calidad externa: qu tanto se asemejan los
resultados de clustering con conocimiento previo del
dominio
Entropa
F-Measure
Evaluacin
F-Measure: mide la efectividad del clustering
jerrquico, dado un cluster j y una clase i
Evaluacin
i
ij
n
n
j i recall = ) , (
j
ij
n
n
j i precision = ) , (
) (
2
1
recall precision
recall precision
F
+

=
) (
) 1 (
2
2
recall precision
recall precision
F
+
+
=
Preguntas?

Clase2 PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Clase2 PDF

Cargado por

Copyright:

Formatos disponibles

11

Descubrimientode conocimiento a Partir de Datos

También podría gustarte