TEMA 3: REGRESIÓN Y ÁRBOLES DE REGRESIÓN

1. REGRESIÓN LINEAL

§ Objetivos
o Aproximar función no lineal “f(x)” a una función líneal “f´(x)”
o Minimizar errores entre la función aproximada y el valor de aproximación.
• Posible medida de error = suma del error cuadrático sobre conjunto de entrenamiento (D)

Función de regresión

§ Minimizar Error
o Al definir la función puede haber problemas de definir el vector de pesos ⃗w
o Distintos vectores de pesos dan distintos valores en la función de error.
o Hay que encontrar el vector ⃗w que minimice la función de error.
o Aproximación: descenso de gradiente.

2. DESCENSO DE GRADIENTE

Descenso de Gradiente (ejemplos entrenamiento, η): cada ejemplo de entrenamiento es un par de la

forma ⟨⃗x, t⟩

§ ⃗x à vector de valores de entrada

§ T à valor de salida objetivo.
§ η à ratio de aprendizaje.

- Inicializar cada wi a algún valor aleatorio

pequeño

12
MÍNIMOS GLOBALES Y LOCALES

3. ÁRBOLES DE REGRESIÓN: M5

- Minimiza la variación interna de valores de la clase en cada subconjunto.

- Genera árboles de decisión similares a los producidos por ID3.
- Es una variación de CART (Breiman et al., 84)
§ Hojas en CART = valores numéricos (en vez de modelos lineales)
§ CART elige el atributo que maximiza la reducción esperada en varianza o
desviación absoluta.
- Elegir el atributo que maximice la reducción del error.

13