TEORIA DE LA DECISION

DE BAYES

TEORIA DE LA DECISION DE BAYES

TEORIA DE LA DECISION DE BAYES

PROBABILIDAD A PRIORI

TEORIA DE LA DECISION DE BAYES

TEORIA DE LA DECISION DE BAYES

TEORIA DE LA DECISION DE BAYES

DENSIDAD DE PROBABILIDAD
Adems de la probabilidad a priori a menudo se
tiene informacin adicional: el valor de la
observacin x que se va a clasificar.
Ejemplo:
Cmo etiquetaramos a una persona cuya analtica
indica que tiene 5 millones de glbulos rojos?
Hayy qque considerar:
Probabilidad a priori
Valor de la observacin
6

TEORIA DE LA DECISION DE BAYES

DENSIDAD DE PROBABILIDAD

TEORIA DE LA DECISION DE BAYES

DENSIDAD DE PROBABILIDAD

TEORIA DE LA DECISION DE BAYES

TEORIA DE LA DECISION DE BAYES

10

TEORIA DE LA DECISION DE BAYES

11

TEORIA DE LA DECISION DE BAYES

PROBABILIDAD A POSTERIORI

12

TEORIA DE LA DECISION DE BAYES

PROBABILIDAD A POSTERIORI

13

TEORIA DE LA DECISION DE BAYES

14

TEORIA DE LA DECISION DE BAYES

Efecto de la prob. a priori sobre la prob. a posteriori

15

TEORIA DE LA DECISION DE BAYES

REGLA DE CLASIFICACIN DE BAYES

16

TEORIA DE LA DECISION DE BAYES

17

TEORIA DE LA DECISION DE BAYES

18

TEORIA DE LA DECISION DE BAYES

19

TEORIA DE LA DECISION DE BAYES

20

TEORIA DE LA DECISION DE BAYES

Al considerar pprobabilidades a ppriori,, las clases

muy infrecuentes resultan castigadas

21

TEORIA DE LA DECISION DE BAYES

PROBLEMAS MULTICLASE CON PATRONES MULTIDIMENSIONALES

REGLA DE CLASIFICACIN DE BAYES

22

TEORIA DE LA DECISION DE BAYES

FUNCIONES DISCRIMINANTES Y SUPERFICIES DE DECISIN

Supongamos que existen gi(X) funciones discriminantes:

Una funcin discriminante para la clase i (gi(X)) tiene
la propiedad de que alcanza un mayor valor que
cualquier
l i otra
t funcin
f i discriminante
di i i t gj(X) para todas
t d las
l
otras clases
La regla de clasificacin sera:
Seleccionar wi si gi(X) >= gj(X) para todo j

23

TEORIA DE LA DECISION DE BAYES

FUNCIONES DISCRIMINANTES Y SUPERFICIES DE DECISIN

Una posibilidad para considerar gi(X) es:

gi(X)=P(wi|X)
o bien cualquier otra funcin equivalente:
gi(X)=P(X|w
(X) P(X|wi) i

Para un problema de clasificacin en dos clases, la

formulacin se simplifica. Basta considerar:
g(X)=g1(X)-g2(X)
Siendo la regla de clasificacin:
Seleccionar w1 si g(X) > 0 y w2 si (x)<0

24

TEORIA DE LA DECISION DE BAYES

FRONTERA Y REGIONES DE DECISIN ENTRE 2 CLASES

25

TEORIA DE LA DECISION DE BAYES

FRONTERA Y REGIONES DE DECISIN ENTRE 2 CLASES

26

TEORIA DE LA DECISION DE BAYES

FRONTERA Y REGIONES DE DECISIN ENTRE 2 CLASES
Influencia de la Probabilidad a Priori i

27

TEORIA DE LA DECISION DE BAYES

ERROR
O EN
N LA C
CLASIFICACION
S C C ON

28

TEORIA DE LA DECISION DE BAYES

ERROR
O EN
N LA C
CLASIFICACION
S C C ON

29

TEORIA DE LA DECISION DE BAYES

ERROR
O EN
N LA C
CLASIFICACION
S C C ON

MNIMO ERROR
30

TEORIA DE LA DECISION DE BAYES

ERROR EN LA CLASIFICACION

EL ERROR NO ES EL MNIMO
31

TEORIA DE LA DECISION DE BAYES

ESTIMACIN DEL ERROR Y VERIFICACIN DE LOS RESULTADOS

32

TEORIA DE LA DECISION DE BAYES

ESTIMACIN DEL ERROR Y VERIFICACIN DE LOS RESULTADOS

33

TEORIA DE LA DECISION DE BAYES

ESTIMACIN DEL ERROR Y VERIFICACIN DE LOS RESULTADOS

34

TEORIA DE LA DECISION DE BAYES

35

TEORIA DE LA DECISION DE BAYES

ESTIMACIN POR RESUSTITUCIN

36

TEORIA DE LA DECISION DE BAYES

ESTIMACIN POR RESUSTITUCIN

37

TEORIA DE LA DECISION DE BAYES

ESTIMACIN POR CONJUNTO DE PRUEBA O TEST

38

TEORIA DE LA DECISION DE BAYES

ESTIMACIN POR CONJUNTO DE PRUEBA O TEST

39

TEORIA DE LA DECISION DE BAYES

ESTIMACIN POR VALIDACIN CRUZADA

40

TEORIA DE LA DECISION DE BAYES

ESTIMACIN POR VALIDACIN CRUZADA

41

TEORIA DE LA DECISION DE BAYES

ESTIMACIN POR VALIDACIN CRUZADA

42

TEORIA DE LA DECISION DE BAYES

VERIFICACIN DE RESULTADOS

Matriz de confusin o Matriz de contingencia

Presentacin y anlisis del resultado de una
clasificacin
Matriz cuadrada de orden JxJ que tiene anexas filas
y columnas auxiliares para contabilizar totales y otras
mtricas

43

TEORIA DE LA DECISION DE BAYES

VERIFICACIN DE RESULTADOS
EJEMPLO DE MATRIZ DE CONFUSIN con 5 clases

44

TEORIA DE LA DECISION DE BAYES

VERIFICACIN DE RESULTADOS

45

TEORIA DE LA DECISION DE BAYES

VERIFICACIN DE RESULTADOS

46

1 Estructura de los sistemas de reconocimiento de patrones

1.Estructura
EJEMPLO DETALLADO
DE UN
SISTEMA DE RECONOCIMIENTO DE PATRONES

47

EJEMPLO
SISTEMA DE RECONOCIMIENTO DE PATRONES PARA
LA CONCESION O NO DE UN PRSTAMO BANCARIO

Variables disponibles:

Clases:

Edad
Ed d

S
S lo
l va a devolver
d l
(BUEN PAGADOR)

Salario mensual

No lo va a devolver (MOROSO)

Se disponen de 20 ejemplos, 10 por cada clase

48

EJEMPLO

49

EJEMPLO
2

2
SI devuelve el prestamo

1.8

1.8

1.6

1.6

14
1.4

14
1.4

1.2

1.2

No de indiv
viduos

No de indiv
viduos

NO devuelve el prestamo

0.8

0.8

0.6

0.6

04
0.4

04
0.4

0.2

0.2

20

40
Edad

60

80

20

40
Edad

60

80

50

EJEMPLO
2

3
NO devuelve el prestamo

SI devuelve el prestamo

1.8
2
2.5
1.6

1.4
1.2

No de individuos

No de ind ividuos

0.8

1.5

1
0.6

0.4
0
0.5
0.2

1000
2000
Salario mensual

3000

1000
2000
Salario mensual

3000

51

EJEMPLO
NO devuelve el prestamo
SI devuelve el prestamo

Concesion de prestamo
2500

Salario m
mensual

2000

1500

1000

500

0
10

20

30

40

50

60

70

80

Edad

52

EJEMPLO

Probabilidad
ob b d d a priori:
p o : 0.5 para
p lass 2 clases
c ses
No se conocen las densidades de probabilidad de los atributos
de cada clase
clase, luego no utilizamos la regla de Bayes

Clasificador utilizado:
DISTANCIA EUCLIDEA A LA MEDIA DE CADA CLASE

53

EJEMPLO
Concesion de prestamo
2500
NO devuelve el prestamo
SI devuelve el prestamo

2000

((62,, 1745))
Salario men
nsual

media CLASE SI
1500

1000

(33, 589)
media CLASE NO
500

0
10

20

30

40

50

60

70

80

Edad

54

EJEMPLO

55

EJEMPLO
MATRIZ DE CONFUSIN
Clases

Total

xito

Error

10

90%

10%

10

90%

10%

Total

10

10

20

90%

10%

BONDAD MEDIA

56