rboles de Decisin: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicacin (I)

] Ejemplos de entrenamiento y concepto a aprender:
Administrar tratamiento T0
Paciente Presin Urea en Gota Hipotiroidismo Administrar
Aterial sangre Tratamiento
1 Alta Alta S No No
2 Alta Alta S S No
3 Normal Alta S No S
4 Baja Normal S No S
5 Baja Baja No No S
6 Baja Baja No S No
7 Normal Baja No S S
8 Alta Normal S No No
9 Alta Baja No No S
10 Baja Normal No No S
11 Alta Normal No S S
12 Normal Normal S S S
13 Normal Alta No No S
14 Baja Normal S S No

rboles de Decisin: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicacin (II)

Eleccin del atributo de ganancia mxima
Presin Arterial (PA) Gota (G)

Alta Normal Baja S No

[2+,3-] [4+,0-] [3+,2-] [3+,4-] [6+,1-]
E=0.971 E=0 E=0.971 E=0.985 E=0.592
G ( S , " PA" ) = 0.940 (5 / 14) 0.971 (4 / 14) 0 G ( S , "G" ) = 0.940 (7 / 14) 0.985
(5 / 14) 0.971 = 0.246 (7 / 14) 0.592 = 0.151

Urea en Sangre (US) Hipotiroidismo (H)

Alta Normal Baja S No

[2+,2-] [4+,2-] [3+,1-] [3+,3-] [6+,2-]
E=1 E=0.918 E=0.811 E=1 E=0.811
G ( S , "US " ) = 0 .940 ( 4 / 14 ) 1 ( 6 / 14 ) 0 .918 G ( S , " H " ) = 0 . 940 ( 6 / 14 ) 1
( Surez
Enrique J. Carmona 4 / 14 ) 0 .811 = 0 .029 Dpto. 14 ) 0 .811
(8 /Inteligencia = 0 .UNED
Artificial, 048
 rboles de Decisin: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicacin (III)

Presin Arterial?

Alta Normal Baja

Pcte Urea Gota Hipot. "T0" Pcte Urea Gota Hipot. "T0"
[2+,3-] [3+,2-]
1 Alta S No No 4 Normal S No S
2 Alta S S No 5 Baja No No S
8 Normal S No No 6 Baja No S No
9 Baja No No S 10 Normal No No S
11 Normal No S S 14 Normal S S No

S
[4+,0-]

rboles de Decisin: Algoritmo ID3

Ejemplo ID3: Aplicar Tratamiento T0? (II)

2 2 1
G ( S , "U " ) = E[(2+,3]) E[(0+,2]) E[(1+,1]) E[(1+,0]) = 0.571
5 5 5
3 2
G ( S , "G" ) = E[(2+,3]) E[(0+,3]) E[(2+,0]) = 0.971
5 5
2 3
G ( S , " H " ) = E[(2+,3]) E[(1+,1]) E[(1+,2]) = 0.020
5 5

Presin Arterial?

Alta Normal Baja

...?
Gota?
No S (...) (...)
S
[2+,0-]
No [0+,3-]
 rboles de Decisin: Algoritmo ID3

Ejemplo ID3: Aplicar Tratamiento T0? (III)

3 2
G ( S , "U " ) = E[(3+,2]) E[(2+,1]) E[(1+,1]) = 0.020
5 5
2 3
G ( S , "G" ) = E[(3+,2]) E[(1+,1]) E[(2+,1]) = 0.020
5 5
2 3
G ( S , " H " ) = E[(3+,2]) E[(0+,2]) E[(3+,0]) = 0.971
5 5

Presin Arterial?

Alta Normal Baja

...?
(...) (...) Hipotiroidismo?
No S

S
[3+,0-]
No [0+,2-]

rboles de Decisin: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicacin (IV)

Presin Arterial?

Alta Normal Baja

Gota? SI Hipotiroidismo?

No S No S

SI NO SI NO
 rboles de Decisin: Algoritmo ID3

Caractersticas del Algoritmo ID3

] Recursividad
\ La divisin de los ejemplos originales en nuevos subconjuntos
que implica la bifurcacin al pasar por un atributo, constituye,
para cada subconjunto, un nuevo problema de aprendizaje de
AD (con menos ejemplos y un atributo menos).
] Se pueden presentar 4 casos:
1 Si el nuevo subconjunto tiene ejemplos positivos y negativos,
escoger nuevamente el mejor atributo y bifurcar.
2 Si el nuevo subconjunto est formado por un solo tipo de
ejemplos, se ha llegado a un nodo hoja.
3 Si en el caso 1 no existiesen ya ms atributos (datos
incorrectos, ruido...), utilizar el voto de mayora de los ejemplos
del nodo padre.
4 Si el nuevo subconjunto es vaco (datos no representativos),
utilizar el voto de mayora de los ejemplos del nodo padre.

rboles de Decisin: Algoritmo ID3

S Devuelve rbol raz
Ejemplos={}? formado por nodo
clase=ValorPREDEFINIDO Algoritmo ID3
No
function
S Devuelve rbol raz APRENDIZAJE-AD (Ejemplos, Atributos, ValorPREDEFINIDO)
EjemplosCi? formado por return rbol Decisin
nodo clase=Ci
No
No AtributoMEJOR ESCOGER-ATRIBUTO(Atributos, Ejemplos)
Atributos={}? rbol Nuevo rbol raz formado por nodo AtributoMEJOR

S
FOR i=1 TO (n valores de AtributoMEJOR )
Devuelve rbol
raz formado por nodo clase=
VALOR-MAYORA(Ejemplos) Ejemplosi {e Ejemplos t.q. Valor(e)=vi}
ValorPREDEFINIDO VALOR-MAYORIA(Ejemplos)
Subrbol APRENDIZAJE-AD (Ejemplosi , Atributos {AtributoMEJOR }, ValorPREDEFINIDO)
Aadir una rama a rbol con etiquetavi y subrbol Subrbol

functions
ESCOGER-ATRIBUTO (Atributos, Ejemplos) Next i
return Atributo ms discriminativo
VALOR-MAYORA (Ejemplos)
20 Enrique Carmona
return J. Clase deSurez
ejemplos ms numerosos Devuelve rbol