MODELOS DE PRONOSTICOS

Anlisis de regresin mltiple

Primer semestre 2011
El modelo lineal de tres variables
El anlisis de regresin mltiple se usa para probar hiptesis
acerca de la relacin entre una variable dependiente Y, y dos o
ms variables independientes Xs. El modelo se escribe como:
La suposicin adicional (a la del modelo de regresin simple) es
que no hay relacin lineal exacta entre las Xs
A partir de las ecuaciones normales se obtienen las siguientes
expresiones
i i i
X X Y
2 3 1 2 1
+ + =
) ) ) )
) ) )
) ) ) )
) ) )
2 3 1 2 1
2
2 1
2
2
2
1
2 1 1
2
1 2
3
2
2 1
2
2
2
1
2 1 2
2
2 1
2

X X Y
x x x x
x x y x x y x
x x x x
x x y x x y x
i i i i
i i i i i i i
i i i i
i i i i i i i

=




El modelo lineal de tres variables
El estimador B
2
mide el cambio en Y por variaciones unitarias en
X
1
mientras se mantiene constante X
2
, B
3
se define anlogamente.
Los estimadores se llaman coeficientes de regresin parcial y son
MELI (mejores estimadores linealmente insesgados).
Ejemplo:
Considere la siguiente tabla la cual nos entrega la relacin entre la
cantidad de maz Y explicado por la cantidad de fertilizante X
1i
y la
cantidad de insecticida X
2i
.
Ao Y X
1
X
2
y x
1
x
2
x
1
y x
2
y x
1
x
2
x
1
2
x
2
2
1971 40 6 4 -17 -12 -8 204 136 96 144 64
1972 44 10 4 -13 -8 -8 104 104 64 64 64
1973 46 12 5 -11 -6 -7 66 77 45 36 49
1974 48 14 7 -9 -4 -5 36 45 20 16 25
1975 50 16 9 -5 -2 -3 10 15 6 4 9
1976 58 18 12 1 0 0 0 0 0 0 0
1977 60 22 14 3 4 2 12 6 8 16 4
1978 68 24 20 11 6 8 66 88 48 36 64
1979 74 26 21 17 8 9 136 153 72 64 81
1980 80 32 24 23 14 12 322 276 168 196 144
n=10 Sm=570 Sm=280 Sm=120 Sm=0 Sm=0 Sm=0 Sm=956 Sm=900 Sm=524 Sm=576 Sm=504
El modelo lineal de tres variables
Con lo anterior se puede calcular:
Finalmente la ecuacin de regresin queda de la forma:
) ) ) )
) ) )
) ) ) )
) ) )
98 . 31 ) 12 )( 11 . 1 ( ) 18 )( 65 . 0 ( 57

11 . 1
) 524 ( ) 504 )( 576 (
) 524 )( 956 ( ) 576 )( 900 (

65 . 0
) 524 ( ) 504 )( 576 (
) 524 )( 900 ( ) 504 )( 956 (

2 3 1 2 1
2 2
2 1
2
2
2
1
2 1 1
2
1 2
3
2 2
2 1
2
2
2
1
2 1 2
2
2 1
2
= = =
=

=
=

=




X X Y
x x x x
x x y x x y x
x x x x
x x y x x y x
i i i i
i i i i i i i
i i i i
i i i i i i i

i i i
X X Y
2 1
10 . 1 65 . 0 98 . 31

+ + =
Prueba de significacin de los
estimadores de parmetros
Con el fin de probar la significacin estadstica de los
estimadores de parmetros de la regresin mltiple, se
requiere conocer la varianza de estos estimadores
Como vimos antes la varianza del error es desconocida
por lo tanto ocupamos una estimacin insesgada de esta
)
)
)
)

=
2
2 1
2
2
2
1
2
1 2
3
2
2 1
2
2
2
1
2
2 2
2

var

var
i i i i
i
i i i i
i
x x x x
x
x x x x
x
W
W
2
2

i
u
n k
W =

Donde k es el nmero de parmetros estimados

Prueba de significacin de los
estimadores de parmetros
Luego las estimaciones insesgadas de la varianza
son las siguientes
Aplicando raz cuadrada a las cantidades anteriores
se obtienen los errores estndares de cada
estimador
)
)
2
3
2 2
2 2

2
2 2
1 2 1 2
2 2
1 2

2
2 2
1 2 1 2

i i
i i i i
i i
i i i i
u x
s
n k
x x x x
u x
s
n k
x x x x

Prueba de significacin de los
estimadores de parmetros
Ejemplo
Consideremos la tabla anterior acerca de la produccin de
maz considerando la cantidad de fertilizantes y la cantidad
de insecticida.
Ao Y X
1
X
2
Y estimado e e
2
y
2
1971 40 6 4 40.32 -0.32 0.1024 289
1972 44 10 4 42.92 1.08 1.1664 169
1973 46 12 5 45.33 0.67 0.4489 121
1974 48 14 7 48.85 -0.85 0.7225 81
1975 50 16 9 52.37 -0.37 0.1369 25
1976 58 18 12 57.00 1.00 1.0000 1
1977 60 22 14 61.82 -1.82 3.3124 9
1978 68 24 20 69.78 -1.78 3.1684 121
1979 74 26 21 72.19 1.81 3.2761 289
1980 80 32 24 79.42 0.58 0.3364 529
n=10 Sm=570 Sm=280 Sm=120 Sm=0 Sm=13.6704 Sm=1634
Prueba de significacin de los
estimadores de parmetros
Usando los valores de ambas tablas presentadas se
obtiene:
Por lo tanto
)
)
2
3
2 2
2 2
2 2 2
2 2
1 2 1 2
2 2
1 2
3 2 2
2 2
1 2 1 2
13.6704 504

0.06 ( ) 0.24
10 3 (576)(504) (524)
13.6704 576

0.07 ( ) 0.27
10 3 (576)(504) (524)
i i
i i i i
i i
i i i i
u x
s ee
n k
x x x x
u x
s ee
n k
x x x x

= = = =

= = = =

)
)
365 . 2
11 . 4
27 . 0
11 . 1

7 . 2
24 . 0
65 . 0

7 %, 5
3
3

2
2

3
2
=
= = =
= = =
= = l de g
t con
ee
t
ee
t
E

Puesto que ambos estadsticos

de prueba exceden el valor de
t los estimadores son
estadsticamente significativos
Coeficiente de determinacin mltiple
El coeficiente de determinacin mltiple, R
2
, se define como la
proporcin de la variacin total de Y explicada por la regresin
mltiple de Y sobre X
1
y X
2
, se puede calcular de la siguiente
forma:
Considerando que el aumento de variables independientes o
explicativas probablemente incremente la SEC para una misma
STC, lo que implica un aumento de R
2
. Para tomar en cuenta esto,
se calcula un R
2
ajustado

+
= = =
2
2 3 1 2
2
2
2
2
2

1

i
i i i i
i
i
i
i
y
x y x y
y
e
y
y
R

)
estimados parmetros de nmero k
nes observacio de nmero n
k n
n
R R
=
=

=
1
1 1
2 2
Coeficiente de determinacin mltiple
Ejemplo
El R
2
para el ejemplo de maz-fertilizante-insecticida
es:
Entonces se debe corregir este valor, de la forma:
% 16 . 99 9916 . 0 0084 . 0 1
1634
6704 . 13
1 1
2
2
2

y
e
R
i
i
= = = =

% 92 . 98 9892 . 0
3 10
1 10
) 9916 . 0 1 ( 1
1
) 1 ( 1
2 2

k n
n
R R =

=
Prueba de significacin global de
regresin
La significacin global de la regresin se puede probar con la
relacin de la varianza explicada a la varianza no explicada, es
decir una relacin entre el origen de la varianza de la regresin
y la varianza del error.
Esta sigue una distribucin F con k-1 y n-k grados de libertad,
donde n es el nmero de observaciones y k es el nmero de
parmetros estimados;
Si la relacin F calculada excede el valor tabulado de F a nivel
especificado de significacin y grados de libertad, se rechaza la
hiptesis nula de que todos los parmetros de la regresin son
iguales a cero.
2
2
2 2

/ ( 1)
/ ( 1)
/ ( ) (1 ) / ( )
i
i
y k
R k
F
e n k R n k

= =

Prueba de significacin global de

regresin
Ejemplo
Para probar la significacin global de la regresin estimada al
nivel de significacin, podemos usar R
2
=0.9916, es as que:
Ya que el valor de F calculado excede al valor de F tabulado se
puede rechazar la hiptesis de que los parmetros de
estimacin B
2
y B
3
, son iguales a cero y se puede afirmar que
R
2
es significativamente diferente a cero
0.9916 / 2
413.17
(1 0.9916) / 7
F = =

Coeficiente de correlacin parcial

El coeficiente de correlacin parcial mide la correlacin neta entre la
variable dependiente y una variable independiente despus de excluir la
influencia que sobre ellas dos ejercen las otras variables independientes
del modelo. Por ejemplo r
YX1,X2
es la correlacin parcial entre Y y X
1
,
despues de eliminar la influencia de X
2
sobre Y y sobre X
1
Donde r
YX1
es el coeficiente de correlacin simple entre Y y X
1
, y r
YX2
, r
X1X2
se definen en forma anloga. Los coeficientes de correlacin parcial oscilan
entre -1 y 1, tienen el signo del parmetro estimado correspondiente, y se
usan para determinar la importancia relativa de las diferentes variables
explicativas en una regresin mltiple
2 2

,
2 2

,
1 2 1
2 1 1 2
1 2
2 2 1
2 1 2 1
2 1
1 1
1 1
YX X X
X X YX YX
X YX
YX X X
X X YX YX
X YX
r r
r r r
r
r r
r r r
r

=

=

Coeficiente de correlacin parcial

Ejemplo
Considerando el problema maz-fertilizante-insecticida se
tiene:
% 34 . 84 8434 . 0
9854 . 0 1 9725 . 0 1
) 9725 . 0 )( 9854 . 0 ( 9917 . 0
1 1

% 23 . 70 7023 . 0
9917 . 0 1 9725 . 0 1
) 9725 . 0 )( 9917 . 0 ( 9854 . 0
1 1

:
9725 . 0
576 504
524
9917 . 0
1634 504
900
9854 . 0
1634 576
956
2 2 2 2
2
,
2 2 2 2
2
,
2
2
2
1
2 1
2 2
2
2
2 2
1
1
1 2 1
1 1 2
1 2
2 2 1
1 2 1
2 1
2 1
2
1

r r
r r r
r

r r
r r r
r
entonces tiene se asi
x x
x x
r
y x
y x
r
y x
y x
r
YX X X
X X YX YX
X YX
YX X X
X X YX YX
X YX
i i
i i
X X
i i
i i
YX
i i
i i
YX
=

=
=

=
= = =
= = =
= = =

Coeficiente de correlacin parcial

Por lo tanto X
2
es ms importante que X
1
para explicar la
variacin en Y.
Los resultado globales del ejemplo de maz-fertilizante-
insecticida se puede resumir como:
84 . 0 70 . 0
17 . 413 989 . 0 992 . 0
) 11 . 4 ( ) 70 . 2 (
10 . 1 65 . 0 98 . 31

1 2 2 1
, ,
7 , 2
2 2
2 1
= =
= = =
+ + =
X YX X YX
r r
F R R
t valores
X X Y
Resultados
1 2
0, 9725
X X
r =
1
0, 9854
YX
r =
2
0, 9917
YX
r =
Resultados
Hay alta
significatividad
conjunta en los
coeficientes
2
0, 992 0, 989 R R = =
Resultados
1 2
31, 981 0, 650 1,110 Y X X = + +
)
2

0, 250 ee =
)
3

0, 267 ee =
Todos los coeficientes son significativos (se comprueba con
intervalos de confianza positivos)
3
4,150 t

=
2
2, 599 t

=
Resultados
1 1
2 2
,
,
0, 985 0, 701
0, 992 0, 843
YX Y X
YX Y X
r r
r r
= =
= =
Correlacin parcial entre Y y X1
despus de eliminar la influencia
de X2 sobre Y y sobre X1
Correlacin simple entre Y y X1
Resultados
Informacin sobre valores pronosticados y residuos
Resultados
Los residuos no siguen una
distribucin aproximadamente
normal
Se puede hacer prueba ks
Resultados
???
Resultados
No hay homoscedasticidad
(no hay relacin)
Se puede hacer prueba
homoscedasticidad
Resultados
Relacin fertilizante-
rendimiento
Resultados
Relacin fertilizante-
insecticida
Resultados
Valores pronosticados
Intervalo de confianza para la media
Intervalo de confianza
para valores individuales
Forma funcional
La teora o la dispersin de los puntos
frecuentemente sugiere relaciones no lineales.
Es posible transformar algunas funciones no
lineales en lineales de tal manera que el mtodo
de MCO pueda usarse todava.
Forma funcional
Supngase que se postula una forma funcional
como sigue (funcin de produccin Cobb-Douglas)
Donde
Si aplicamos ln se tiene
a estocstic n perturbaci de trmino
capital
trabajo
producto
3
2
=
=
=
=
u
X
X
Y
u
e X X Y
3 2
3 2 1

=
u X X Y + + + =
3 3 2 2 1
ln ln ln ln
Forma funcional
es la elasticidad (parcial) del producto
con respecto al insumo trabajo, es decir,
mide el cambio porcentual en la produccin
debido a una variacin del 1% en el insumo
trabajo, manteniendo constante el insumo
capital.
De igual forma es la elasticidad (parcial)
del producto con respecto al insumo capital,
manteniendo constante el insumo trabajo.
2

Forma Funcional
Supngase que se postula una forma
funcional como sigue:
mente respectiva demanda la de ingreso e precio des elasticida las
de es estimacion las a en correspond C B donde
X C X B A Y
obtiene se
es consumidor los de ingreso X
precio su X
artculo un de demandada cantidad Y
e X X Y
u
,
ln ln ln
:
:
:
2 1
2
1
2 1
1
3 2
+ =
=

Forma funcional
La siguiente funcin relaciona el costo marginal
de corto plazo de la produccin de un bien (Y) con
el nivel de su producto (X)
En general se podra tener una funcin polinomial
Tngase en cuenta que slo existe una variable
explicativa al lado derecho, pero aparece elevada
a distintas potencias convirtindolas en modelos
de regresin mltiple.
2
2 1 0
X X Y + + =
k
k
X X X Y + + + + = ...
2
2 1 0
Forma funcional
Observe que si se ha supuesto que X
i
es fija o no
estocstica los trminos de X
i
elevados a alguna
potencia tambin se hacen fijos o no estocsticos.
Puesto que el polinomio de grado k es lineal en
los parmetros, las pueden ser estimadas
mediante el mtodo de los MCO.
Pero qu sucede con el problema de la
colinealidad? (relacin lineal entre las variables
explicativas)
A caso las diferentes X no estn altamente
correlacionadas puesto que todas son potencias
de X?.
i

Forma funcional
S, pero como son trminos de la forma X
2
, X
3
,
X
4
, etc. son todas funciones no lineales de X y por
lo tanto, de manera estricta no violan el supuesto
de no multicolinealidad.
Variables ficticias
Las variables explicativas cualitativas (hombre o mujer, bueno o
malo, etc.) se pueden introducir en el anlisis de regresin
asignando el valor 1 para una clasificacin (hombre) y 0 para otra
(mujer), estas se denominan variables ficticias y se tratan como
cualquier otra variable.
Las variables ficticias se pueden establecer cambios
(desviaciones) en la ordenada o en origen, cambios en la
pendiente y cambios en la ordenada como en la pendiente.
Donde D es 1 para una categora y 0 para otra, X es la variable
cuantitativa usual
u XD D X Y
u XD X Y
u D X Y
+ + + + =
+ + + =
+ + + =
4 3 2 1
3 2 1
3 2 1



Variables ficticias
Las variables ficticias tambin pueden usarse para establecer
diferencias entre ms de dos clasificaciones, tal como
estaciones o temporadas.
Donde B
1
es la ordenada para la primera estacin y D
1
, D
2
y D
3
se refieren a la estacin 2, 3 y 4 respectivamente.
Ejemplo
La siguiente tabla muestra la inversin privada bruta Y, y el
producto interno bruto X, ambos en miles de millones de
dlares para EE.UU. en los aos 1939 a 1954. Usando D=1
para los aos de guerra (1942-1945) y D=0 para los aos de
paz
3 5 2 4 1 3 2 1
D D D X Y + + + + =
) ) ) )
) ) )
) ) ) )
) ) )
2 3 1 2 1
2
2 1
2
2
2
1
2 1 1
2
1 2
3
2
2 1
2
2
2
1
2 1 2
2
2 1
2

X X Y
x x x x
x x y x x y x
x x x x
x x y x x y x
i i i i
i i i i i i i
i i i i
i i i i i i i

=




Variables ficticias
Variables ficticias
Luego tenemos la siguiente ecuacin de regresin donde B
1
ser -2.58 para tiempos de paz y -23.39 para tiempos de
guerra. La pendiente 0.16 permanece constante a pesar que
podra modificarse tambin introduciendo un termino ficticio a
esta
D X Y 81 . 20 16 . 0 58 . 2

+ =
% 94 94 . 0

1

2
2 3 1 2
2
2
2
2
2

y
x y x y
y
e
y
y
R
i
i i i i
i
i
i
i
=
+
= = =