Modelos de

Regresin
Lineal Mltiple
(MRLM)
 Regresin Mltiple

Introduccin
Hasta ahora habamos estudiado el
comportamiento de una nica
variable independiente para explicar
el comportamiento de una variable
dependiente (MRLS)
 Regresin Mltiple

A partir de ahora el objetivo sigue siendo

el mismo, construir un modelo que
explique lo mejor posible la variabilidad
de una variable dependiente.

Pero!, ahora admitimos la posibilidad de

que hayan diversas variables
independientes (mltiples influencias).
 Regresin Mltiple
El Modelo de Regresin Mltiple
Y = o+ 1X1+ 2X2+ 3X3+...+kXk + u

o,1,2,3,....,k son los parmetros y u es una

variable aleatoria.

El modelo tal y como est planteado seala que y es

una funcin lineal de X1,X2, ...Xk

El trmino u explica la variabilidad en Y que no

puede explicar el efecto lineal de las k variables
independientes.
 Regresin Mltiple
La ecuacin de regresin mltiple

E(Y) = o+ 1X1+ 2X2+ 3X3+...+kXk

La ecuacin estimada de regresin mltiple

^ ^ ^ ^ ^ ^
Y 0 1 X1 2 X2 3 X3 ... k X k

donde:
^o,^1,^2,^3..^k son los estimadores de los
parmetros ()

^Y es el valor estimado de la variable dependiente.

 Regresin Mltiple

Cmo estimar la ecuacin?:

Mtodo de MCO:

la suma de los residuos elevados al

cuadrado (es decir, las desviaciones entre
los valores observados de la variable
dependiente y los valores estimados) sea
mnima.
 Regresin Mltiple
Explicando el MRLM a travs de un
ejemplo:
Los datos que se presentan a continuacin estn
referidos a entidades de ahorro y crdito en los
EEUU en los ltimos 25 aos.

Un grupo de analistas financieros de este sector

est interesado en establecer una posible relacin
entre el margen de beneficio porcentual obtenido
por estas instituciones y el nmero de oficinas y los
ingresos netos por dlar depositado.
 Regresin Mltiple
Los datos:
Margen de
beneficio
porcentual de las
entidades de Ingresos Netos por Nmero de
Ao ahorro y prstamo dlar depsitado oficinas
1 0.75 3.92 7298
2 0.71 3.61 6855
3 0.66 3.32 6636
4 0.61 3.07 6506
5 0.7 3.06 6450
6 0.72 3.11 6402
7 0.77 3.21 6368
8 0.74 3.26 6340
9 0.9 3.42 6349
10 0.82 3.42 6352
11 0.75 3.45 6361
12 0.77 3.58 6369
13 0.78 3.66 6546
14 0.84 3.78 6672
15 0.79 3.82 6890
16 0.7 3.97 7115
17 0.68 4.07 7327
18 0.72 4.25 7546
19 0.55 4.41 7931
20 0.63 4.49 8097
21 0.56 4.7 8468
22 0.41 4.58 8717
23 0.51 4.69 8991
24 0.47 4.71 9179
25 0.32 4.78 9318
 Regresin Mltiple

Lo primero que
haremos ser obtener la
regresin estimada...
 Regresin Mltiple

Los resultados del MRLM:

La tabla relacionada con los coeficientes

Coefficientsa

Standardi
zed
Unstandardized Coefficien
Coefficients ts 95% Confidence Interval for B
Model B Std. Error Beta t Sig. Lower Bound Upper Bound
1 (Constant) 1.564 .079 19.705 .000 1.400 1.729
INGRESOS .237 .056 .987 4.269 .000 .122 .352
OFICINAS -2.49E-04 .000 -1.797 -7.772 .000 .000 .000
a. Dependent Variable: MARGEN
 Regresin Mltiple

Cmo se interpretan estos

coeficientes?:

Estimadores de los parmetros:

Miden el impacto (positivo o negativo)

que se espera en la variable dependiente,
al incrementar la variable Xk (respectiva)
en una unidad adicional, mientras el resto
de las variables permaneces constantes.
 Regresin Mltiple
En el ejercicio :

El coeficiente correspondiente a X1, es

decir,^1, seala que al incrementar en
una unidad los ingresos netos (en 1$) se
producira un aumento de 0.237 en el
margen porcentual de beneficio de las
entidades de ahorro y crdito, siempre
que el nmero de oficinas permanezca
constante.
 Regresin Mltiple

En el ejercicio que estamos

trabajando:
El coeficiente correspondiente a X2, es
decir, ^2, indica que manteniendo los
ingresos netos fijos, un incremento de
una oficina de ahorro y crdito,
producira un incremento esperada en el
margen porcentual de beneficio de
0,000249.

0.13
 Regresin Mltiple

Estos coeficientes reciben el

nombre de COEFICIENTES DE
REGRESIN PARCIAL

Proporcionan medidas separadas de

influencias de las variables
independientes (Xk) en la variable
dependiente (Y).

0.14
 Regresin Mltiple
La capacidad explicativa de una
ecuacin de regresin mltiple.

Recordemos lo que habamos visto

para la regresin lineal simple:
SST = SSR + SSE

Variabilidad Total de la muestra =

Variabilidad explicada + Variabilidad
No explicada
 Regresin Mltiple
La capacidad explicativa de una
ecuacin de regresin mltiple.

Aplicando el mismo concepto

tenemos que el Coeficiente de
Determinacin Mltiple:

R2
0 R2 1
 Regresin Mltiple
En los resultados obtenidos:

Model Summaryb

Adjus ted Std. Error of

Model R R Square R Square the Es timate
1 .930 a .865 .853 5.330E-02
a. Predictors : (Constant), OFICINAS, INGRESOS
b. Dependent Variable: MARGEN
Este resultado seala que en esta muestra, el 86,5% de la
variabilidad en los mrgenes de beneficio de las EAYC, se
explica por su asociacin lineal con los ingresos netos y
el nmero de oficinas
 Regresin Mltiple
Todava en esta tabla nos falta por
identificar dos valores...

Model Summaryb

Adjus ted Std. Error of

Model R R Square R Square the Es timate
1 .930 a .865 .853 5.330E-02
a. Predictors : (Constant), OFICINAS, INGRESOS
b. Dependent Variable: MARGEN
 Regresin Mltiple
Empecemos con el error estndar de la
estimacin, como vimos en REGRESIN
LINEAL SIMPLE ste tiene que ver con la
estimacin de la varianza del error.
 Regresin Mltiple

Qu pasa con el otro valor?

El llamado Coeficiente de
Determinacin Ajustado o
Corregido.

Para qu sirve?
 Regresin Mltiple
La utilidad principal del
coeficiente de
determinacin, R2, es como
estadstico descriptivo del
xito de las variables
independientes, para
explicar el comportamiento
de la variable dependiente.
 Regresin Mltiple
Su uso puede criticarse, cuando el
nmero de variables explicativas no
es una porcin pequea de n
(nmero de observaciones).
En efecto cuando esto sucede, el
modelo podra sugerir que se ajusta
bien a los datos, y sin embargo las
variables independientes, no tienen
un vnculo fuerte con la variable
dependiente.
 Regresin Mltiple
Aqu surge la necesidad de tener un
indicador que me indique la vinculacin
entre las variables independientes y la
dependiente de una manera ms
adecuada, es decir, una medida
modificada de la fuerza de la relacin de
la regresin.
Se est tratando de incluir una
compensacin por la inclusin en el
modelo de ms variables
independientes (relevantes o no).
 Regresin Mltiple
Para ello utilizamos el llamado
Coeficiente de Determinacin Ajustado o
Corregido:
SEC/(n-k-1)
R2 =1
STC/(n-1)
En nuestro ejercicio este valor es 0.853. Es muy parecido al
Coeficiente de Determinacin.
En este caso particular, el ajuste es muy pequeo, debido que el
nmero de variables independientes es un nmero pequeo en
relacin con el tamao de la muestra.
 Regresin Mltiple
Otro aspecto que tenemos que evaluar
se encuentra en la tabla No.2
Model Summaryb

Adjus ted Std. Error of

Model R R Square R Square the Es timate
1 .930 a .865 .853 5.330E-02
a. Predictors : (Constant), OFICINAS, INGRESOS
b. Dependent Variable: MARGEN

Este es el coeficiente de Correlacin

Mltiple y nos proporciona una medida de la
potencia total de la regresin, recuerden
que es la raz cuadrada del coeficiente de
determinacin
 ERRORES DE ESPECIFICACION
Supuestos del MRLM: el modelo se encuentra bien especificado:
su forma funcional y las variables que lo componen representan la
formulacin correcta.

Existen cuatro tipos de fuentes o razones que generan error de

especificacin:

1. Omisin de una variable relevante en el modelo

Si una variable que afecta de manera importante la variable
dependiente del modelo es omitida, se incurre en error de
especificacin. Esta situacin hace que los estimadores sean sesgados.

2. Inclusin de una variable irrelevante

Incorporacin de variables explicativas adicionales, que no afectan
significativamente a la variable dependiente.
Los estimadores sern insesgados, pero se obtienen de manera
imprecisa. Incluir variables irrelevantes afecta los errores estndares
de los coeficientes, haciendo que los intervalos de confianza sean ms
anchos
3. Uso de una forma funcional inadecuada
Una medida emprica para verificar la existencia de una forma funcional
inadecuada es la prueba RESET de Ramsey

4. Error de medicin.
El impacto principal radica en la insesgadez de los estimadores MCO
 Regresin Mltiple

LA INFERENCIA

Intervalos de Confianza y
Contrastes de Hiptesis para los
estimadores MCO
 La Inferencia
Hasta ahora:
Estimadores MCO son MELI
Supuestos Gauss Markov

Se logra conocer:
El valor esperado de los estimadores
MCO.
Varianza de los estimadores MCO.

Pero en la INFERENCIA:
Necesario: Conocer toda la distribucin
de los estimadores MCO.
 La Inferencia
Importante!
La distribucin de los estimadores
MCO depende de la distribucin
subyacente de los errores (u)

Supuesto de Normalidad
En la poblacin, el error esta
distribuido normalmente
El error es independiente de las variables explicativas
(xk), y est distribuido normalmente, con media cero y
varianza 2
u Normal (0, 2)
 La Inferencia
La normalidad de u, se traduce en
una distribucin de muestreo normal
de los estimadores MCO

Distribuciones de Muestreo Normales

El estimador est distribuido normalmente, con media j
y varianza igual a var(^j).
^j Normal [j, var(^j)]

(^j- j)/de(^j) Normal(0,1)

 La Inferencia

Intervalos de Confianza y Pruebas

de Hiptesis sobre un solo
parmetro poblacional de la
regresin

Prueba t
 La prueba t

Prueba t: probar una hiptesis

sobre una j individual en particular

j es desconocido, pero se pueden

hacer hiptesis acerca de su valor
 La prueba t
Distribucin t para estimadores
estandarizados

(^j- j)/ee (^j) t n-k-1

Qu se testea?
Hiptesis Nula:
Ho: j = 0

Hiptesis Alterna:
H 1: j 0
 La prueba t
La Hiptesis Nula:
Ho: j = 0

Una vez que se han controlado

todas las dems variables
independientes (xk), xj no tiene
ningn efecto sobre el valor
esperado de y
 La prueba t
La Hiptesis Alterna:
H 1: j 0

Una vez que se han controlado

todas las dems variables
independientes (xk), xj s tiene un
efecto parcial sobre el valor
esperado de y
 Aplicando la prueba t
La prueba t para testear las Ho,
queda definido como:

(^j)/ee (^j) t n-k-1

1. Elegir un nivel de significancia o

pbb para rechazar la Ho cuando en
realidad es verdadera. (5%)
2. Definir la regla de rechazo:
t ^j >c
donde c: valor crtico
 Aplicando la prueba t
Por ejemplo: para una prueba al
nivel del 5% con n-k-1= 28 g de l, el
valor crtico es c = 1.701.
Si t ^j <c
No se rechaza la Ho a favor de la H1
al nivel del 5%.
Note: A medida que el nivel de
significancia disminuye. El valor
crtico aumenta, as se requiere un
valor cada vez ms grande de t ^j
para rechazar la Ho.
 Aplicando la prueba t
Dependent Variable: LOGSAL
Method: Least Squares
Date: 06/09/11 Time: 10:45
Sample: 1 526
Included observations: 526

Variable Coefficient Std. Error t-Statistic Prob.

EDUC 0.042032 0.001960 21.44030 0.0000

EXPER 0.031513 0.000461 68.37301 0.0000
ANTIG 0.020042 0.000827 24.22220 0.0000
C 2.251012 0.027866 80.77933 0.0000

R-squared 0.947115 Mean dependent var 3.417614

Adjusted R-squared 0.946811 S.D. dependent var 0.511258
S.E. of regression 0.117911 Akaike info criterion -1.430205
Sum squared resid 7.257313 Schwarz criterion -1.397770
Log likelihood 380.1440 Hannan-Quinn criter. -1.417505
F-statistic 3116.130 Durbin-Watson stat 1.811431
Prob(F-statistic) 0.000000
 Valor-p
Qu es el valor-p?

Una medida de probabilidad (0 1) de evidencia sobre H0,

Dado el t-calculado, cul es el menor nivel de significancia al que se

habra rechazado la H0 ?

Informacin: probabilidad (bajo el supuesto de que H0 es verdadera)

que la estadstica de prueba (t) sea igual al valor observado o uno
incluso un valor ms extremo en la direccin predicha por Ha.

Entre ms pequeo el valor-p, ms fuerte la evidencia contra H0.

Se rechaza la H0 si el valor-p nivel de significancia elegido (0.10,
0.05, 0.01)

El nivel mnimo ms comnmente aceptado es 0.05, y se dice que la

prueba es significativa a un nivel de 0.05 si el valor-p 0.05.

Si el valor-p no es lo suficientemente pequeo, no rechazamos H0 (H0

es plausible)
 Regresin Mltiple

Recordando un ejercicio inicial:

Los datos de entidades de ahorro y crdito en los
EEUU en los ltimos 25 aos.

Un grupo de analistas financieros de este sector

est interesado en establecer una posible relacin
entre el margen de beneficio porcentual obtenido
por estas instituciones y el nmero de oficinas y los
ingresos netos por dlar depositado.
 Regresin Mltiple
Resultados de la Regresin

Coefficientsa

Standardi
zed
Uns tandardized Coefficien
Coefficients ts 95% Confidence Interval for B
Model B Std. Error Beta t Sig. Lower Bound Upper Bound
1 (Cons tant) 1.564 .079 19.705 .000 1.400 1.729
INGRESOS .237 .056 .987 4.269 .000 .122 .352
OFICINAS -2.49E-04 .000 -1.797 -7.772 .000 -.0003155 -.00018261
a. Dependent Variable: MARGEN

Qu significa
esto?
Prof. Econ. Rodolfo Medina
UCV-FACES-ECONOMIA- 0.43
ECONOMETRA I
 Regresin Mltiple
En el ejercicio que estamos
trabajando:
Una conjetura vlida para el coeficiente vinculado al incremento
en los ingresos netos provoque un aumento de los mrgenes de
beneficio. Por ello, la hiptesis que estaramos interesados en
contrastar sera la siguiente:
Ho: 1 = 0
H1: 1 >0
Regla de Decisin:
Rechazar Ho si [(b1-0) /Sb1] > t n-k-1,
 Regresin Mltiple
En el ejercicio que estamos trabajando:
Regla de Decisin:

[(b1-0) /Sb1]={(0,237-0)/ 0,055}

=4,27
t n-k-1, =t 22;0,05 = 1,717

Por ende, se rechaza Ho, es decir, rechazamos la Ho de

que los ingresos netos no contribuyen a la explicacin del
comportamiento de los mrgenes de beneficio.
Ingresos netos es una variable estadsticamente
significativa para el modelo al 5% de significancia,
adems de afectar de manera directa a la variable
mrgenes de beneficio.
 Regresin Mltiple
En el ejercicio que estamos trabajando,
tambin podramos plantear la siguiente
conjetura:
Otra conjetura que podramos hacer est relacionada
con que si todo lo dems permanece constante, un
incremento en el nmero de oficinas debera provocar
una cada en el margen de beneficio (al aumentar la
competencia)
En este caso, lo que estaramos contrastando sera lo
siguiente: Ho: = 0
2

H1: 2 <0

Prof. Econ. Rodolfo Medina

UCV-FACES-ECONOMIA- 0.46
ECONOMETRA I
 Regresin Mltiple
Ho: 2 = 0
H1: 2 <0

Regla de Decisin:
Rechazar Ho si [(b2-0) /Sb2] < - t n-k-1,
b2-0/Sb2 = -0,000249-0/0,000032 = -7.78
Si se compara este valor con el t-crtico (22,0.10)
= -1,321
Vemos que rechazamos Ho, con lo cual
estaramos sealando que el nmero de oficinas
s contribuye a explicar el comportamiento de
los mrgenes de beneficios. El Nmero de
oficinas es una variable significativa al 10%,
adems de afectar a la variable mrgenes de
beneficio de manera indirecta.
 La Inferencia

Intervalos de Confianza y Pruebas

de Hiptesis sobre el conjunto de
los parmetros poblacionales de la
regresin

Prueba F
 Regresin Lineal Mltiple

Qu es la prueba F?

Es una prueba que tambin nos permite

probar si la regresin es significativa.

Para ello utiliza la Distribucin F de

probabilidades.

I
 Regresin Lineal Mltiple

La lgica que est detrs de esta prueba

es la determinacin de dos estimados
independientes de 2.
Una de las formas de estimar 2
involucraba a la SSE dividida entre n-2
grados de libertad.

Otra forma sera involucrar a la SSR con

sus respectivos grados de libertad, que
en este caso vienen representados por el
nmero de variables independientes.

I
 Regresin Lineal Mltiple
Slo para recordar
Estimado de 2
El estimado de 2 (S2) est
relacionado con esa suma de
cuadrados de la siguiente manera:
S2 = SSE/n-2
 Regresin Lineal Mltiple
A continuacin presentamos el
Contraste:
Ho: 1 =2=....=j = 0
H 1: j 0
Estadstico experimental:
SRC
Numerador
k
F=
SEC
Denominador
n-k-1
 Regresin Lineal Mltiple
Regla de rechazo:
Rechazar Ho, si F > Fc
Donde Fc, se basa en una
distribucin F con k grados de
libertad en el numerador y n-k-1
grados de libertad en el
denominador; para un
determinado nivel de significancia.
 Regresin Mltiple

El contraste anterior puede

basarse directamente en R2,
dado que:

SRC/k = n-k-1 R2
SEC/(n-k-1) k 1- R2
 Regresin Mltiple
Realicemos este contraste para el
ejercicio que venimos trabajando

ANOVAb

Sum of
Model Squares df Mean Square F Sig.
1 Regress ion .402 2 .201 70.661 .000 a
Res idual 6.250E-02 22 2.841E-03
Total .464 24
a. Predictors : (Constant), OFICINAS, INGRESOS
b. Dependent Variable: MARGEN

Qu concluye al respecto?
 Regresin Mltiple

Se rechaza la hiptesis nula tanto al 1%

como al 5% de significancia. Con ello,
estamos sealando que tanto los
ingresos netos y el nmero de oficinas
son estadsticamente significativas
conjuntamente, por lo tanto tienen una
influencia lineal conjunta en el margen
porcentual de beneficios de las
entidades de ahorro y crdito.

Este contraste, ser de mucha

importancia para detectar problemas de
multicolinealidad en Econometria.
 Regresin Lineal Mltiple

Forma R-cuadrada del

estadstico F para un conjunto
de restricciones de exclusin

( R2NR R2R)
q Numerador

F= (1-R2NR)
n-k-1 Denominador
 Regresin Lineal Mltiple

Forma R-cuadrada del

estadstico F para la
significancia global del modelo

( R2NR )
Numerador
k
F=
(1-R2NR)
Denominador
n-k-1
 Regresin Mltiple

EL VALOR-p EN EL ESTADISTICO- F

P-value= 0.0132 la posibilidad de observar un valor de F

tan grande como el encontrado, siendo verdadera la
hiptesis nula es slo de 1,3%

Entonces se rechaza la Hiptesis Nula.

P-value= 0.024 la posibilidad de observar un valor de F

tan grande como el encontrado, siendo verdadera la
hiptesis nula es 2,4%.

Entonces la Hiptesis Nula se rechaza al 5%, pero no al

1%

I
 Regresin Lineal Simple

Estimaciones
Una vez que se ha obtenido una
relacin estadsticamente significativa
entre X e Y, y el ajuste que proporciona
la regresin parece bueno...podramos
usar la ecuacin estimada para hacer
predicciones.

I
 Regresin Lineal Simple

Estimacin Puntual
A partir de la recta de regresin estimada
en este caso la siguiente:
^
Y = 0,340399798 + 1.011533198X

Podemos determinar el valor puntual de y estimado, para un

determinado valor de X, es decir, podemos predecir el
rendimiento de las obligaciones corporativas a LP, para un
rendimiento de las obligaciones gubernamentales a LP.

I
 PROBLEMAS
ECONOMETRICOS

1.Multicolinealidad

2.Autocorrelacin

3.Heteroscedasticidad

I
 PROBLEMAS
ECONOMETRICOS
1.Multicolinealidad

Relacin perfecta o exacta entre

algunas o todas las variables
explicativas en un modelo de
regresin

I
 Representacin grfica de la
Multicolinealidad

I
 PROBLEMAS
ECONOMETRICOS
1.Consecuencias de la Multicolinealidad

Elevadas varianzas y covarianzas,

dificultan una estimacin precisa.

Intrvalos de confianza y pruebas de

hiptesis errneas.

R2 sobre-estimado.

I
 PROBLEMAS
ECONOMETRICOS
2. AUTOCORRELACIN

Correlacin entre miembros de

series de observaciones
ordenadas en el tiempo o en el
espacio.

I
Patrones de Autocorrelacin y no Autocorrelacin

I
 PROBLEMAS
ECONOMETRICOS
1.Consecuencias de la Autocorrelacin
La varianza del residual subestima la
verdadera varianza del error.
R2 puede ser sobreestimada.
La varianza de los estimadores
pueden subestimar su varianza bajko
autocorrelacin de primer orden.
La pruebas de significancia t y dejan
de sr vlidas

I
 PROBLEMAS
ECONOMETRICOS
3. HETEROSCEDASTICIDAD

Violacin del supuesto de

Homoscedasticidad

Heteroscedasticidad: la varianza
de los errores vara en los distintos
segmentos de la poblacin, donde
los segmentos estn determinados
por los valores de las variables
I explicativas.
 Representacin grfica de la
Homoscedasticidad

I
 Representacin grfica de la
Heteroscedasticidad

I
 Ejemplo

EE diferentes.
Mayor diferencia en el coeficiente de EDUC
Los ee robustos pueden ser > o< que los ee usuales