Árboles de Decisión: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicación (I)

] Ejemplos de entrenamiento y concepto a aprender:
Administrar tratamiento “T0”
Paciente Presión Urea en Gota Hipotiroidismo Administrar
Aterial sangre Tratamiento
1 Alta Alta Sí No No
2 Alta Alta Sí Sí No
3 Normal Alta Sí No Sí
4 Baja Normal Sí No Sí
5 Baja Baja No No Sí
6 Baja Baja No Sí No
7 Normal Baja No Sí Sí
8 Alta Normal Sí No No
9 Alta Baja No No Sí
10 Baja Normal No No Sí
11 Alta Normal No Sí Sí
12 Normal Normal Sí Sí Sí
13 Normal Alta No No Sí
14 Baja Normal Sí Sí No

Árboles de Decisión: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicación (II)

Elección del atributo de ganancia máxima
Presión Arterial (PA) Gota (G)

Alta Normal Baja Sí No

[2+,3-] [4+,0-] [3+,2-] [3+,4-] [6+,1-]
E=0.971 E=0 E=0.971 E=0.985 E=0.592
G ( S , " PA" ) = 0.940 − (5 / 14) ⋅ 0.971 − (4 / 14) ⋅ 0 G ( S , "G" ) = 0.940 − (7 / 14) ⋅ 0.985
− (5 / 14) ⋅ 0.971 = 0.246 − (7 / 14) ⋅ 0.592 = 0.151

Urea en Sangre (US) Hipotiroidismo (H)

Alta Normal Baja Sí No

[2+,2-] [4+,2-] [3+,1-] [3+,3-] [6+,2-]
E=1 E=0.918 E=0.811 E=1 E=0.811
G ( S , "US " ) = 0 .940 − ( 4 / 14 ) ⋅ 1 − ( 6 / 14 ) ⋅ 0 .918 G ( S , " H " ) = 0 . 940 − ( 6 / 14 ) ⋅ 1
− ( Suárez
Enrique J. Carmona 4 / 14 ) ⋅ 0 .811 = 0 .029 −Dpto. 14 ) ⋅ 0 .811
(8 /Inteligencia = 0 .UNED
Artificial, 048
 Árboles de Decisión: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicación (III)

Presión Arterial?

Alta Normal Baja

Pcte Urea Gota Hipot. "T0" Pcte Urea Gota Hipot. "T0"
[2+,3-] [3+,2-]
1 Alta Sí No No 4 Normal Sí No Sí
2 Alta Sí Sí No 5 Baja No No Sí
8 Normal Sí No No 6 Baja No Sí No
9 Baja No No Sí 10 Normal No No Sí
11 Normal No Sí Sí 14 Normal Sí Sí No

Sí
[4+,0-]

Árboles de Decisión: Algoritmo ID3

Ejemplo ID3: ¿Aplicar Tratamiento “T0”? (II)

2 2 1
G ( S , "U " ) = E[(2+,3−]) − E[(0+,2−]) − E[(1+,1−]) − E[(1+,0−]) = 0.571
5 5 5
3 2
G ( S , "G" ) = E[(2+,3−]) − E[(0+,3−]) − E[(2+,0−]) = 0.971
5 5
2 3
G ( S , " H " ) = E[(2+,3−]) − E[(1+,1−]) − E[(1+,2−]) = 0.020
5 5

Presión Arterial?

Alta Normal Baja

¿...?
Gota?
No Sí (...) (...)
Sí
[2+,0-]
No [0+,3-]
 Árboles de Decisión: Algoritmo ID3

Ejemplo ID3: ¿Aplicar Tratamiento “T0”? (III)

3 2
G ( S , "U " ) = E[(3+,2−]) − E[(2+,1−]) − E[(1+,1−]) = 0.020
5 5
2 3
G ( S , "G" ) = E[(3+,2−]) − E[(1+,1−]) − E[(2+,1−]) = 0.020
5 5
2 3
G ( S , " H " ) = E[(3+,2−]) − E[(0+,2−]) − E[(3+,0−]) = 0.971
5 5

Presión Arterial?

Alta Normal Baja

¿...?
(...) (...) Hipotiroidismo?
No Sí

Sí
[3+,0-]
No [0+,2-]

Árboles de Decisión: Algoritmo ID3

Algoritmo ID3: Un ejemplo de aplicación (IV)

Presión Arterial?

Alta Normal Baja

Gota? SI Hipotiroidismo?

No Sí No Sí

SI NO SI NO
 Árboles de Decisión: Algoritmo ID3

Características del Algoritmo ID3

] Recursividad
\ La división de los ejemplos originales en nuevos subconjuntos
que implica la bifurcación al pasar por un atributo, constituye,
para cada subconjunto, un nuevo problema de aprendizaje de
AD (con menos ejemplos y un atributo menos).
] Se pueden presentar 4 casos:
1 Si el nuevo subconjunto tiene ejemplos positivos y negativos,
escoger nuevamente el mejor atributo y bifurcar.
2 Si el nuevo subconjunto está formado por un solo tipo de
ejemplos, se ha llegado a un nodo hoja.
3 Si en el caso 1 no existiesen ya más atributos (datos
incorrectos, ruido...), utilizar el voto de mayoría de los ejemplos
del nodo padre.
4 Si el nuevo subconjunto es vacío (datos no representativos),
utilizar el voto de mayoría de los ejemplos del nodo padre.

Árboles de Decisión: Algoritmo ID3

Sí Devuelve Árbol raíz
¿Ejemplos={∅}? formado por nodo
clase=ValorPREDEFINIDO Algoritmo ID3
No
function
Sí Devuelve Árbol raíz APRENDIZAJE-AD (Ejemplos, Atributos, ValorPREDEFINIDO)
¿∀ Ejemplos∈Ci? formado por return → Árbol Decisión
nodo clase=Ci
No
No AtributoMEJOR ← ESCOGER-ATRIBUTO(Atributos, Ejemplos)
¿Atributos={∅}? Árbol ← Nuevo árbol raíz formado por nodo AtributoMEJOR

Sí
FOR i=1 TO (n valores de AtributoMEJOR )
Devuelve Árbol
raíz formado por nodo clase=
VALOR-MAYORÍA(Ejemplos) Ejemplosi ← {e ∈ Ejemplos t.q. Valor(e)=vi}
ValorPREDEFINIDO ← VALOR-MAYORIA(Ejemplos)
Subárbol ← APRENDIZAJE-AD (Ejemplosi , Atributos – {AtributoMEJOR }, ValorPREDEFINIDO)
Añadir una rama a Árbol con etiqueta≡vi y subárbol ≡ Subárbol

functions
ESCOGER-ATRIBUTO (Atributos, Ejemplos) Next i
return → Atributo más discriminativo
VALOR-MAYORÍA (Ejemplos)
20 Enrique →Carmona
return J. Clase deSuárez
ejemplos más numerosos Devuelve Árbol