MÉTODOS MULTIVARIANTES

Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

EN LA BÚSQUEDA DE LA MEJOR
ECUACIÓN DE REGRESIÓN

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

 MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

MÉTODOS PARA LA BÚSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

Uno de los problemas más difíciles en la construcción de modelos es la

selección del conjunto de variables explicativas a ser incluidas en el mismo.

Este “mejor” conjunto de variables explicativas debe garantizar que:

• el modelo resultante sea adecuado (buen poder descriptivo y/o predictivo)
• Los recursos disponibles sean suficientes

La conciliación entre estos dos aspectos es la esencia de las técnicas para la

selección de “la mejor” ecuación de regresión.

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

 MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

No hay procedimiento único para obtener el “mejor” modelo. Los

resultados obtenidos por diversas técnicas son consistentes.

Es posible, que diferentes métodos produzcan diferentes soluciones,

cuando esto pasa se deben evaluar otros aspectos: experiencia
práctica, naturaleza de los datos y las interpretaciones que puedan
ser hechas.

Existen diferentes métodos para seleccionar las variables

explicativas, a saber:
1. BACKWARD ( Eliminación Descendente) ( “Hacia atrás” (SPSS))
2. FORWARD (Incorporación Ascendente)( “Hacia adelante” (SPSS))
3. STEPWISE ( Paso a Paso) ( “Pasos Sucesivos” (SPSS))

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

1.- REGRESIÓN BACKWARD (Hacia atrás)

En este método se considera inicialmente el modelo con las k variables
potenciales, y se realizan contrastes t parciales para determinar cuál
es la variable que menos contribuye a la regresión. Si esta contribución
no es significativa, la variable se elimina del modelo. Se realiza ahora
el ajuste con las variables restantes, y se va repitiendo el
procedimiento hasta obtener el modelo con las h ≤ k variables,
considerado como el mejor.

El criterio para establecer la contribución de una variable se basa en el

estadístico de contraste parcial, tc=bj /Sbj .

Este estadístico se calcula en el modelo con todas las variables

incluidas hasta ese momento.

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

 MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

Es importante observar que:

• Se inicia con el modelo más complejo

• En cada iteración se ajusta un único modelo y se calcula el estadístico
tc para todas las variables que están dentro
• Se elimina aquella variable con menor t c siempre que no sea
significativo
• El proceso se detiene cuando todos los t c de las variables incluidas son
significativas o cuando se hayan eliminado todas las variables
• La variable que sale en una etapa queda definitivamente fuera del
modelo.

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

2.- REGRESIÓN FORWARD (Hacia adelante)

Este método opera en sentido inverso al método anterior, es decir

considera inicialmente el modelo sólo con el término constante, y se
van incluyendo variables hasta que la ecuación de regresión sea
satisfactoria en cierto sentido. En cada etapa se realizan contrastes
parciales para determinar cuál es la variable fuera del modelo que más
contribuye a la regresión. Si esta contribución es significativa, la
variable se incorpora al modelo, en caso contrario el proceso finaliza.

El método FORWARD es superior al BACKWARD en el sentido de que

no trabaja con más variables de las necesarias, por lo que es más
ventajoso económica y computacionalmente.

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

 MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

Su limitación radica en que no refleja el efecto que tiene cada variable

introducida sobre las variables que ya han entrado en la regresión.
Esta deficiencia es superada en el proceso de selección paso a paso.

Es importante observar que:

• Se inicia con el modelo más sencillo

• En cada iteración se ajustan tantos modelos como variables fuera, y se
calcula el estadístico tc para cada una de ellas. En cada ajuste se
asume que esa variable particular está adentro.
• Se incorpora aquella variable con mayor t c siempre que sea
significativo.

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

 MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

• El proceso se detiene cuando todos los t c de las variables excluidas son

no significativos, o cuando se han incorporado todas las variables

• La variable que entra en una etapa queda definitivamente dentro del

modelo

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

3.- REGRESIÓN STEPWISE (Pasos sucesivos)

Este procedimiento constituye una revisión mejorada del método de

selección Hacia Adelante. La mejoría consiste en que cada etapa
reexamina la regresión con las variables anteriores. Una variable por sí
sola puede ser la mejor variable de regresión en un momento dado, y
puede no ser importante en una etapa posterior debido a su relación
lineal con otras variables ya incluidas. Como en cada etapa cada
variable es examinada puede ocurrir que una variable particular sea
aceptada en una etapa y rechazada en otra.

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

 MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

Los criterios para entrada y salida de variables son generalmente

una combinación de los siguientes estadísticos:
1. Correlación parcial entre cada variable X j , fuera del modelo, y la
variable Y, eliminando el efecto lineal de las variables explicativas
que ya entraron en el modelo

2. F para entrar y F para salir

F para entrar: valor que tomaría la razón F para contrastar
H0:βj = 0, si la variable correspondiente estuviese en el modelo de
regresión. En caso de que F sea significativo, la variable debe entrar
en el modelo. Este estadístico se calcula para todas las variables que
no están en la ecuación, y que potencialmente podrían estarlo

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

 MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

F para salir: valor que toma la razón F para contrastar H 0:βj = 0, para
cada variable incorporada en el modelo de regresión. En caso de que el
valor observado del estadístico F sea significativo, la variable debe
mantenerse en la regresión, en caso contrario debe salir.

3. Coeficientes de Tolerancia o equivalentemente los Coeficientes de

Inflación de Varianza (CIV). Estos dos criterios permiten controlar la
entrada de variables que podrían presentar colinealidad con las ya
incluidas en el modelo.

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

Etapa 0
No ha entrado ninguna variable y se considera el modelo solo con el
término constante

Etapa 1
La primera variable que entra en la regresión, es aquella que registra
el mayor tc (F=t2), o equivalentemente la que presente mayor
correlación con la variable Y. En efecto, se considera el modelo:

Y=β0+βlXl+ε

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

Etapa 2

La segunda variable que ingresa al modelo, supongamos que sea X h,

esto es, aquella con el mayor valor del estadístico F para entrar,
siempre y cuando sea significativo, evaluado sobre un modelo donde
estén Xl y Xh o equivalentemente la que presente mayor correlación
parcial con la variable Y estando Xl en el modelo.
Este estadístico se evalúa sobre todas las variables fuera de la
ecuación. Antes de incorporar la variable X h debe verificarse su
correlación con Xl para evitar problemas de colinealidad.
El modelo en esa etapa queda: Y=β0+βlXl+βhXh+ ε

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

Etapa 3
La variable con menor F para salir debe ser excluida de la ecuación si
este valor es menor que el de un límite prefijado. En caso contrario se
mantiene dentro de la ecuación.

Etapa 4
Entra la variable con mayor F para entrar, siempre que exceda un
límite prefijado. Antes de incorporar una nueva variable debe
verificarse su tolerancia con las variables ya incluidas para evitar
problemas de multicolinealidad.

Los pasos 3 y 4 se repiten sucesivamente, hasta que no se admita o

excluya ninguna variable en el modelo.

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV

MÉTODOS MULTIVARIANTES
Tema 4: EN LA BUSQUEDA DE LA MEJOR ECUACIÓN DE REGRESIÓN

ESCUELA DE ESTADÍSTICA Y CIENCIAS ACTUARIALES. UCV