Aprendizaje

Automático
1/ 21

Tutora:
Àngela Martín

Ejemplo Técnicas inductivas mixtas

Primera Búsqueda:
Generar árbol de
Regresión
Árboles de Regresión. M5
Parámetros ω y τ
Cálculo de τ
Generar subarbol
Ejemplo
Árbol final

Tutora: Àngela Martín

10-11-2023

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

1/ 21 1 / 21
 Indice

Aprendizaje
Automático
2/ 21

Tutora:
Àngela Martín

Ejemplo
Primera Búsqueda:
1 Ejemplo
Generar árbol de
Regresión Primera Búsqueda: Generar árbol de Regresión
Parámetros ω y τ
Parámetros ω y τ
Cálculo de τ
Generar subarbol Cálculo de τ
Árbol final
Generar subarbol
Árbol final

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

2/ 21 2 / 21
 Indice

Aprendizaje
Automático
3/ 21

Tutora:
Àngela Martín

Ejemplo
Primera Búsqueda:
1 Ejemplo
Generar árbol de
Regresión Primera Búsqueda: Generar árbol de Regresión
Parámetros ω y τ
Parámetros ω y τ
Cálculo de τ
Generar subarbol Cálculo de τ
Árbol final
Generar subarbol
Árbol final

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

3/ 21 3 / 21
 Tabla de ejemplos

Aprendizaje
Automático
4/ 21

Tutora:
Àngela Martín La fila i, i = 1.,7, representa que una persona que haga ejercicio
(Si/No), su alimentacion sea saludable (Si/No), tome alcohol
Ejemplo (Si/No) y tenga sobrepeso (Si/No), la tasa de colesterol será la
Primera Búsqueda:
Generar árbol de
Regresión
correspondiente al valor de la columna Colesterol que es la clase.
Parámetros ω y τ
Cálculo de τ
Generar subarbol Ej. Ejercicio Alimentacion Alcohol Sobrepeso Colesterol
Árbol final (A1 ) saludable (A2 ) (A3 ) (A4 ) (Clase)
1 Si Si No No 200
2 Si Si Si No 250
3 No No Si Si 400
4 Si No No No 290
5 Si No Si No 300
6 No No No Si 450
7 Si Si No Si 220

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

4/ 21 4 / 21
 Aprendizaje
Automático
5/ 21

Tutora:
Àngela Martín
Calculo de la media de los valores de la clase para los valores
Ejemplo
de los atributos
Primera Búsqueda:
Generar árbol de
Regresión
Parámetros ω y τ 200 + 250 + 290 + 300 + 220
Cálculo de τ µA1 =Si = = 252
Generar subarbol 5
Árbol final

400 + 450
µA1 =No = = 425
2

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

5/ 21 5 / 21
 Aprendizaje
Automático
Cálculo de la desviación típica de los atributos
6/ 21
Segun la fórmula de la corrección de Bessel en la cual se
Tutora:
Àngela Martín
utiliza n-1 en lugar de n por no tratarse de la población
completa tenemos:
Ejemplo
s n
1
Primera Búsqueda:
X
Generar árbol de σ= (x − x )2
Regresión n−1
Parámetros ω y τ i=1
Cálculo de τ
Generar subarbol
Árbol final x es la media de los valores de la clase para el valor del atributo
y n la cantidad de ejemplos para cada uno de los dos valores
diferentes en el dominio de A1 .
q
1
σA1 =Si = ((200 − 252)2 + (250 − 252)2 + (290 − 252)2 + (300 − 252)2 + (220 − 252)2 ) = 43, 24
5−1

q
1
σA1 =No = ((400 − 425)2 + (450 − 425)2 ) = 35, 35
2−1

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

6/ 21 6 / 21
 Aprendizaje
Automático
Calculo del error ponderado de A1
7/ 21
Partimos de:
Tutora:
Àngela Martín
X |Ei |
× σEi
Ejemplo i
|E |
Primera Búsqueda:
Generar árbol de
Regresión
Parámetros ω y τ
donde:
Cálculo de τ E es el conjunto de ejemplos en el nodo a dividir.
Generar subarbol
Ei son los ejemplos con valor i del atributo considerado.
Árbol final
|.| es el número de ejemplos de cada conjunto.

σEi es la desviación típica del valor de la clase en Ei .

Entonces para A1 :
5
ErrorA1 =Si = × 43, 24 = 30, 88
7
2
ErrorA1 =No = × 35, 35 = 10, 10
7

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

7/ 21 7 / 21
 Aprendizaje
Automático
8/ 21

Tutora: Calculo error total

Àngela Martín

Ejemplo
Primera Búsqueda:
ErrortotalA1 = 30, 88 + 10, 10 = 40, 98
Generar árbol de
Regresión
Parámetros ω y τ Hacemos lo mismo con el resto de los atributos: A2 , A3 y A4
Cálculo de τ
Generar subarbol
Árbol final
ErrortotalA2 = 101, 60
ErrortotalA3 = 100, 54
ErrortotalA4 = 77, 81

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

8/ 21 8 / 21
 Primera Búsqueda: generar árbol de regresión

Aprendizaje
Automático
9/ 21

Tutora:
Àngela Martín
Selección del nodo raiz
Ejemplo El mejor atributo es A1 ya que es el que tiene menor error. Por
Primera Búsqueda:
Generar árbol de tanto, se crea un nodo raiz que se distingue por este atributo y
Regresión
Parámetros ω y τ que tiene dos sucesores etiquetados con los valores Si y No:
Cálculo de τ
Generar subarbol
Árbol final

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

9/ 21 9 / 21
 Parámetros ω y τ

Aprendizaje
Automático
10/ 21

Tutora:
Sucesores del nodo raiz (A1 )
Àngela Martín
Necesitamos definir ω y τ .
Ejemplo ω indica el mínimo número de ejemplos del conjunto inicial
Primera Búsqueda:
Generar árbol de que debe tener un nodo para seguir subdividiendose. Gene-
Regresión
Parámetros ω y τ ralmente se escoge ω > 3.
Cálculo de τ
Generar subarbol
Árbol final
M5 no divide un nodo si tiene pocos ejemplos (en este caso
menos de 4). Weka utiliza ω = 4. No obstante, no se puede
dividir un nodo si la desviación típica de los valores de la
Clase de los ejemplos que concurren en el nodo no supera el
5 % de la desviación típica del conjunto de ejemplos inicial
(τ ).

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

10/ 21 10 / 21
 Cálculo de τ

Aprendizaje
Automático
11/ 21 Cálculo de τ
Tutora:
Àngela Martín Media de los valores de la clase:

Ejemplo
Primera Búsqueda:
200 + 250 + 400 + 290 + 300 + 450 + 220
Generar árbol de µClase = = 301, 42
Regresión
Parámetros ω y τ
7
Cálculo de τ
Generar subarbol Desviación típica:
Árbol final

σClase = 86, 53
Valor para τ :

τ = 86, 53 ∗ 0, 05 = 4,32

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

11/ 21 11 / 21
 Aprendizaje
Automático
12/ 21

Tutora:
Àngela Martín
Ejemplos cubiertos por cada valor de los atributos
n
Si =⇒ (1, 2, 4, 5, 7)
A1 = (1)
Ejemplo No =⇒ (3, 6)
Primera Búsqueda:
Generar árbol de
Regresión n
Parámetros ω y τ Si =⇒ (1, 2, 7)
A2 = (2)
Cálculo de τ No =⇒ (3, 4, 5, 6)
Generar subarbol
Árbol final
n
Si =⇒ (2, 3, 5)
A3 = (3)
No =⇒ (1, 4, 6, 7)

n
Si =⇒ (3, 6, 7)
A4 = (4)
No =⇒ (1, 2, 4, 5)

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

12/ 21 12 / 21
 Generar subarbol

Aprendizaje
Automático
13/ 21

Tutora:
Àngela Martín

Ejemplo Tabla de los ejemplos (1,2,4,5,7)

Primera Búsqueda:
Generar árbol de Ej. Ejercicio Alimentacion Alcohol Sobrepeso Colesterol
Regresión
(A1 ) saludable (A2 ) (A3 ) (A4 ) (Clase)
Parámetros ω y τ
1 Si Si No No 200
Cálculo de τ
2 Si Si Si No 250
Generar subarbol
4 Si No No No 290
Árbol final
5 Si No Si No 300
7 Si Si No Si 220

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

13/ 21 13 / 21
 Aprendizaje
Automático
14/ 21

Tutora: Calculo errores totales

Àngela Martín
Calculamos el error total de los tes atributos del modelo reducido.
Ejemplo
Primera Búsqueda:
Generar árbol de
Regresión
σA2 =Si = 15, 09 , σA2 =No = 2, 82
Parámetros ω y τ
Cálculo de τ ErrortotalA2 = 17, 91
Generar subarbol
Árbol final σA3 =Si = 35, 35 , σA3 =No = 47, 25
ErrortotalA3 = 42, 49
σA4 =Si = 0 , σA4 =No = 45, 46
ErrortotalA4 = 36, 36

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

14/ 21 14 / 21
 Aprendizaje
Automático
15/ 21

Tutora:
Àngela Martín El mejor atributo es A2 ya que es el que tiene menor error y
supera el valor de τ que era 4,32. Por tanto se crea el hijo
Ejemplo izquierdo del nodo raiz.
Primera Búsqueda:
Generar árbol de
Regresión
Parámetros ω y τ
Cálculo de τ
Generar subarbol
Árbol final

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

15/ 21 15 / 21
 Árbol final

Aprendizaje
Automático
16/ 21

Tutora:
Àngela Martín
Tabla de los ejemplos (1,2,4,5,7) para los atributos A2 A3 y A4
Ejemplo
Primera Búsqueda:
Generamos el subarbol del nodo A2 procediendo de la misma
Generar árbol de
Regresión manera que para el caso anterior y nos queda la siguiente tabla:
Parámetros ω y τ
Cálculo de τ
Ej. Alimentación Alcohol Sobrepeso Colesterol
Generar subarbol (A2 ) (A3 ) (A4 ) (Clase)
Árbol final 1 Si No No 200
2 Si Si No 250
4 No No No 290
5 No Si No 300
7 Si No Si 220

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

16/ 21 16 / 21
 Aprendizaje
Automático
17/ 21

Tutora: Como hemos cogido una ω > 3 ya no podemos continuar gene-

Àngela Martín
rando subarboles puesto que ninguno de los nodos tiene más de
Ejemplo
tres de los ejemplos del conjunto original. El arbol resultante es
Primera Búsqueda:
Generar árbol de
el siguiente:
Regresión
Parámetros ω y τ
Cálculo de τ
Generar subarbol
Árbol final

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

17/ 21 17 / 21
 Aprendizaje Con este árbol vemos que la tabla de ejemplos iniciales ha sido
Automático
18/ 21 clasificada en tres grupos que son los formados por los ejemplos
Tutora: que caen en cada una de las hojas. Ahora, se debería generar
Àngela Martín
un modelo de regresión lineal para cada nodo hoja del árbol
Ejemplo
utilizando la ecuación vista en la introducción y que es:
Primera Búsqueda:
Generar árbol de
Regresión
a
X
Parámetros ω y τ Ci = α0 + αj × Aij
Cálculo de τ
Generar subarbol j=1
Árbol final

A continuació se calculan los modelos lineales del resto de nodos

y para ello se utilizan los atributos que aparecen en los subarboles
por debajo de ellos.
Nota: Una forma relativamente sencilla de construir árboles de
regresión es sustituyendo el modelo lineal de cada uno de sus
nodos hoja por el promediado del valor del atributo clase de los
casos pertenecientes a dicha hoja.
Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023
18/ 21 18 / 21
 Segunda búsqueda

Aprendizaje
Automático
19/ 21

Tutora:
Àngela Martín

Ejemplo
Primera Búsqueda: El segundo paso (segunda búsqueda) intenta simplificar el
Generar árbol de
Regresión
Parámetros ω y τ
árbol de regresión generado en el paso anterior, borrando
Cálculo de τ de los modelos lineales los atributos que no incrementan en
Generar subarbol
Árbol final error estimado de clasificación.

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

19/ 21 19 / 21
 Tercera búsqueda

Aprendizaje
Automático
20/ 21

Tutora:
Àngela Martín El tercer paso (tercera búsqueda) trata de reducir el árbol
(podarlo) sin que pierdan propiedades. El árbol resultante
Ejemplo separa los ejemplos de entrenamiento dependiendo de su
Primera Búsqueda:
Generar árbol de
Regresión
clase y tiene asociado en cada nodo hoja un modelo lineal
Parámetros ω y τ
Cálculo de τ
que calcula el valor de la clase dependiendo del valor de los
Generar subarbol
Árbol final
atributos que intervienen en el modelo.
NOTA: en la asignatura se prescinde de la etapa de poda del
árbol pero, se puede ver el árbol podado en weka. Las dos últimas
búsquedas se pueden hacer juntas y de este modo solo se recorre
el árbol una vez.

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

20/ 21 20 / 21
 Sobre la poda

Aprendizaje
Automático
21/ 21

Tutora:
Àngela Martín

Una manera de corregir el sobreentrenamiento es podar el

Ejemplo árbol. Normalmente los criterios de parada suelen ser laxos
Primera Búsqueda:
Generar árbol de
Regresión (ω y τ ) o incluso inexistentes.
Parámetros ω y τ
Cálculo de τ Hay muchas maneras de podar el árbol y una de ellas se
Generar subarbol
Árbol final basa en estimar mediante validación cruzada de k bloques
o K-fold el error de un determinado subarbol para ver si se
puede eliminar.

Tutora: Àngela Martín Aprendizaje Automático (UNED) 10-11-2023

21/ 21 21 / 21