Está en la página 1de 18

Anlisis de Regresin Lineal

Curso de Verano ENCUP:


Introduccin al anlisis cuantitativo en ciencias sociales

Javier Aparicio
Divisin de Estudios Polticos, CIDE
javier.aparicio@cide.edu

http://publiceconomics.wordpress.com/verano2009
Julio 2009

Anlisis de regresin lineal
1. Ajustar una regresin lineal:

2. Estimar los parmetros:
3. Interpretacin del intercepto a
y la pendiente b
4. Bondad de ajuste
5. Pruebas de hiptesis
i i
bX a Y + =
b a

Scatterplot
Modelo lineal E(Y|X)

Modelo de probabilidad conjunta
PIB
Mercosur
PIB
Uruguay
?


2
2
.
8
2
3
2
3
.
2
2
3
.
4
2
3
.
6
2
3
.
8
g
d
p
u
y
26.8 27 27.2 27.4 27.6 27.8
gdpmerco
Relation between GDP in Mercosur and GDP in Uruguay
1. Ajustando una regresin lineal
Modelo probabilstico
Modelo poblacional:
Modelo muestral:
Modelo estimado:

La diferencia ente es el error estimado:



La lnea de mejor ajuste minimiza la SSE:
queremos que el modelo explique la mayor
proporcin de la varianza de Y.
i i i
X Y c | o + + =
i i i
u bX a Y + + =
i i
X b a Y

+ =
Y Y

y
2
1
2
1
]

[ ]

[
i
n
i
i i
n
i
i
X b a Y Y Y SSE = =

= =
2. Estimacin por Mnimos Cuadrados
Ordinarios (OLS) min(SSE)
Estimando el intercepto a:
X b Y a
X b Y n a X b a n Y
X b a Y
a
SSE
X b a Y SSE
i i i
i
n
i
i
i
n
i
i

2 2
0 ]

[ 2

[
1
2
1
=
= = +
= =
c
c
=

=
=
Estimando la pendiente b:


=
= =
c
c
=
=
=
I
i
i
i i
i i
n
i
i
i
n
i
i
X X
Y Y X X
b
b
X X b a Y
b
SSE
X b a Y SSE
2
1
2
1
] [
] ][ [

: en resulta

despejar al y ...
0 ]

[ 2

[
2. Estimacin por Mnimos Cuadrados
Ordinarios (OLS) min(SSE)
Supongamos que queremos verificar la prediccin de Mundell-Fleming sobre el
efecto del PIB del resto del mundo en una economa pequea como Uruguay.

2. Estimacin de a y b: ejemplo
947 . 0
472 . 0
447 . 0
] [
] ][ [

2
= =

I
i
i
i i
X X
Y Y X X
b
391 . 2 459 . 27 ) 947 . 0 ( 602 . 23

= = = X b Y a
i
Merco
i
UY
i i
GDP GDP
bX a Y
947 . 0 391 . 2 + =
+ =
Year GDPmerco (X) GDPuy (Y) (X
i
-Xbar) (Y
i
-Ybar) [X
i
-Xbar][Y
i
-Ybar] (Y
i
-Ybar)
2
(X
i
-Xbar)
2
1991 27.126 23.139 -0.333 -0.463 0.154 0.214 0.111
1992 27.162 23.278 -0.296 -0.324 0.096 0.105 0.088
1993 27.248 23.430 -0.210 -0.172 0.036 0.030 0.044
1994 27.422 23.582 -0.036 -0.020 0.001 0.000 0.001
1995 27.602 23.683 0.143 0.081 0.012 0.007 0.021
1996 27.686 23.744 0.228 0.143 0.032 0.020 0.052
1997 27.736 23.801 0.277 0.199 0.055 0.040 0.077
1998 27.722 23.831 0.264 0.229 0.060 0.053 0.069
1999 27.433 23.764 -0.025 0.162 -0.004 0.026 0.001
2000 27.519 23.723 0.060 0.121 0.007 0.015 0.004
2001 27.388 23.644 -0.071 0.043 -0.003 0.002 0.005
Sum 302.04 259.62 0.00 0.00 0.45 0.51 0.47
Mean 27.459 23.602
Supongamos que queremos verificar la prediccin de Mundell-Fleming sobre el
efecto del PIB del resto del mundo en una economa pequea como Uruguay.

2. Estimacin de a y b:
947 . 0
472 . 0
447 . 0
] [
] ][ [

2
= =

I
i
i
i i
X X
Y Y X X
b
391 . 2 459 . 27 ) 947 . 0 ( 602 . 23

= = = X b Y a
i
Merco
i
UY
i i
GDP GDP
bX a Y
947 . 0 391 . 2 + =
+ =

2
2
.
5
2
3
2
3
.
5
2
4
g
d
p
u
y
/
L
i
n
e
a
r

p
r
e
d
i
c
t
i
o
n
26.8 27 27.2 27.4 27.6 27.8
gdpmerco
gdpuy Linear prediction
Relation between GDP in Mercosur and GDP in Uruguay
i
Merco
i
UY
GDP GDP 947 . 0 391 . 2 + =
3. Interpretando los coeficientes



a

: es el intercepto
: es la pendiente
i
Merco
i
UY
GDP GDP 947 . 0 391 . 2 + =
Interpretacin:
-2.391: nivel esperado del GDP de Uruguay
independientemente del GDP de Mercosur, en logartmo (no
muy importante aqu).
0.947: efecto marginal de una unidad adicional de GDP en
Mercosur en el GDP de Uruguay
Relacin positiva, como lo predice la teora de
Mundell-Fleming.
2
2
.
5
2
3
2
3
.
5
2
4
g
d
p
u
y
/
L
i
n
e
a
r

p
r
e
d
i
c
t
i
o
n
26.8 27 27.2 27.4 27.6 27.8
gdpmerco
gdpuy Linear prediction
Relation between GDP in Mercosur and GDP in Uruguay
4. Bondad de ajuste
2
] [

= Y Y SST
i
2
]

= Y Y SSE
i
2
]

= Y Y SSR
i
SST
SSE
SST
SSR
R = = 1
2
Error Squares of Sum : SSE
Regression by explained Squres of Sum : SSR
Total Squares of Sum : SST
Mientras mayor es la
proporcin de la
varianza de Y
explicada por el
modelo, mayor ser la
bondad de ajuste del
modelo (R
2
)

4. Bondad de ajuste: ejemplo
51 . 0 ] [
2
= =

Y Y SST
i
088 . 0 ]

[
2
= =

Y Y SSE
i
2
]

= Y Y SSR
i
828 . 0
51 . 0
088 . 0
1 1
2
= = = =
SST
SSE
SST
SSR
R
Interpretacin:
82.8% de la variacin del GDP en
Uruguay se puede explicar por la
variacin en el GDP de Mercosur
(excluyendo Uruguay)
SST SSE
Year GDPmerco (X) GDPuy (Y) (X
i
-Xbar) (Y
i
-Ybar) [X
i
-Xbar][Y
i
-Ybar] (Y
i
-Ybar)
2
(X
i
-Xbar)
2
(Y
i
-Yhat)
2
1991 27.126 23.139 -0.333 -0.463 0.154 0.214 0.111 0.022
1992 27.162 23.278 -0.296 -0.324 0.096 0.105 0.088 0.002
1993 27.248 23.430 -0.210 -0.172 0.036 0.030 0.044 0.001
1994 27.422 23.582 -0.036 -0.020 0.001 0.000 0.001 0.000
1995 27.602 23.683 0.143 0.081 0.012 0.007 0.021 0.003
1996 27.686 23.744 0.228 0.143 0.032 0.020 0.052 0.005
1997 27.736 23.801 0.277 0.199 0.055 0.040 0.077 0.004
1998 27.722 23.831 0.264 0.229 0.060 0.053 0.069 0.000
1999 27.433 23.764 -0.025 0.162 -0.004 0.026 0.001 0.034
2000 27.519 23.723 0.060 0.121 0.007 0.015 0.004 0.004
2001 27.388 23.644 -0.071 0.043 -0.003 0.002 0.005 0.012
Sum 302.04 259.62 0.00 0.00 0.447 0.51 0.472 0.088
Mean 27.459 23.602
5. Pruebas de hiptesis /
significancia de los coeficientes
Cmo hacer inferencias sobre la relacin poblacional
entre X y Y? Pruebas de hiptesis.


Estadstico t de Student:

Si t > t* (valor estmado > valor crtico), rechazamos la H
0
y
concluimos que | es signficativamente diferente de cero.
Para calcular t, necesitamos el error estndar de |:
0 :
0 :
0
=
=
|
|
A
H
H
b
s
b
t

|
=
MSE
X X
n
SSE
X X
s
s
i i
b
=

=

2 2

] [
2
] [

5. Significancia estadstica:
ejemplo




0 :
0 :
0
=
=
|
|
A
H
H
58 . 6
144 . 0
0 947 . 0

=
b
s
b
t
|
144 . 0
687 . 0
099 . 0
472 . 0
9
088 . 0
] [
2
] [

2 2

= = =

=

X X
n
SSE
X X
s
s
i i
b
685 . 2
*
9 , 025 . 0
*
2 , 2 /
= =

t t
n o
Dado que t>t*, rechazamos la
hiptesis nula y concluimos que
| es significativamente distinta
de 0: el GDP en Mercosur afecta
el GDP en Uruguay.