Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Contents
1 Regresión Múltiple: Estimación 2
1.1 Modelo de Regresión Lineal . . . . . . . . . . . . . . . . . . . 2
1.2 Álgebra de los Mínimos Cuadrados Ordinarios . . . . . . . . . 3
1.3 Propiedades del Estimador MCO . . . . . . . . . . . . . . . . 6
1.3.1 Las condiciones de primer orden de los MCO . . . . . . 6
1.3.2 La suma de los residuos de MCO . . . . . . . . . . . . 6
1.3.3 La media de los b M CO . . . . . . . . . . . . . . . . . 6
b
1.3.4 La varianza de los M CO cuando los errores u son ho-
moscedásticos . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.5 Otras maneras de obtener u b0u
b . . . . . . . . . . . . . . 7
1.3.6 Media y Varianza de los residuos u b de MCO . . . . . . 9
1.4 Estimador de MCO de la Varianza de los Errores 2u . . . . . . 9
1.5 Modelo Lineal en Desviaciones con Respecto a la Media . . . . 11
1.5.1 Algunas Matrices Útiles . . . . . . . . . . . . . . . . . 11
1.5.2 Estimación de los bi . . . . . . . . . . . . . . . . . . . 13
1.5.3 R2 en Desviaciones Respecto a la Media . . . . . . . . 14
1.6 Regresión Particionada . . . . . . . . . . . . . . . . . . . . . . 16
1.7 Errores de Especi…cación . . . . . . . . . . . . . . . . . . . . . 18
1.7.1 Caso 1: Omisión de Variables Relevantes . . . . . . . . 20
rjalon@uft.cl
1
1.7.2 Caso 2: Inclusión de Variables Irrelevantes . . . . . . . 21
1.8 Varianza de los Estimadores de MCO . . . . . . . . . . . . . . 21
2
y = X +u
2 3 2 3 2 3 2 3
y1 1 x11 x1J 0 u1
6 y2 7 6 1 x21 x2J 7 6 7 6 u2 7
6 7 6 7 6 1 7 6 7
6 .. 7 = 6 .. .. .. .. 7 6 .. 7 +6 .. 7
4 . 5 4 . . . . 5 4 . 5 4 . 5
yn n 1
1 xn1 xnJ n (J+1) J (J+1) 1
un n 1
2 0 32 3 2 3
x1 0 u1
6 x0 7 6 7 6 u2 7
6 2 76 1 7 6 7
y = 6 .. 7 6 .. 7+6 .. 7
4 . 54 . 5 4 . 5
0
xn J un
y = Xb + u
b
|{z}
b
y
X
n
SSR( b ) = b2i
u
i=1
0
bu
= 2
u b 30 2 3
b1
u ub1
6 u 7 6 7
6 b2 7 6 ub2 7
= 6 .. 7 6 .. 7
4 . 5 4 . 5
bn
u bn
u
= (y yb)0 (y y b)
= (y X b ) (y X b )
0
0 0
= y0 y 2 b X0 y+ b X0 X b
3
El método de mínimos cuadrados ordinarios elige los estimadores para min-
imizar la suma de cuadrados de los residuos. Se busca el estimador que
minimice la SSR:
h 0 0
i
min SSR( b ) = min y0 y 2 b X0 y+ b X0 X b
b b
@SSR( b )
=0
@b b=b
M CO
@ 2 SSR( b )
0 >0
@ b@ b b=b
M CO
tenemos:
2 3
@SSR( b )
@SSR( b ) 6 @ 0 7
= 6
4 b
7
5
@ b @SSR( )
@ 1
@ h 0 0
i
= y0 y 2 b X0 y+ b X0 X b
@b
= 2X0 y + 2X0 X b (1)
2 3
@ 2 SSR( b ) @ 2 SSR( b )
@ 2 SSR( b ) 6 2 7
6 @ 0@ 1 7
= 6 2 @ 0 b 7
@ b@ b
0
4 @ SSR( ) @ SSR( b )
2 5
@ 1@ 0 @ 21
0
= XX
2X0 y + 2X0 X b = 0
4
que pueden escribirse como:
X0 (y X b ) = 0 (2)
| {z }
b
u
explícitamente:
2 3 0 02 3 2 32 31 2 3
1 x11 x1J y1 1 x11 x1J b 0
0
6 1 x21 x2J 7 B6 y2 7 6 1 x21 x2J 76 b 7C 6 0 7
6 7 B6 7 6 76 1 7C 6 7
6 .... .. .. 7 B6 .. 7 6 .... .. .. 76 .. 7C = 6 .. 7
4 . . . . 5 @4 . 5 4 . . . . 54 . 5A 4 . 5
1 xn1 xnJ yn 1 xn1 xnJ bJ 0
X
n
yi b b xi1 ::: b xiJ = 0
0 1 J
i=1
X
n
xi1 yi b0 b1 xi1 ::: bJ xiJ = 0
i=1
X
n
xi2 yi b0 b xi1
1 ::: b xiJ
J = 0
i=1
..
.
X
n
xiK yi b0 b1 xi1 ::: bJ xiJ = 0
i=1
X0 X b = X0 y
se deduce que
b = (X0 X)
1
X0 y
M CO
5
1.3 Propiedades del Estimador MCO
1.3.1 Las condiciones de primer orden de los MCO
X0 u
b = 0K
Prueba:
(condiciones de primer orden)
X0 u
b = X0 (y X b )
1
= X0 y X0 X (X0 X) X0 y
= X0 y X 0 y
= 0K
b M CO = (X0 X) 1 X0 y
1
= (X0 X) X0 (X + u)
1
= + (X0 X) X0 u
| {z }
error de estimación
E( b M CO ) = 0 1 0
+ (X X) X E(u)
=
Prueba:
6
h i h i 0
V ar( b M CO ) = E b M CO E b M CO b M CO E b M CO
0
= E b b
M CO M CO
h i
0 1 0 0 0 1
= E (X X) X uu X (X X)
1 1
= (X0 X) X0 E(uu0 )X (X0 X)
1 1
= (X0 X) X0 E(uu0 )X (X0 X)
1 1
= (X0 X) X0 2u In X (X0 X)
1
= 2u (X0 X)
recordando que:
" #
b
V ar( b M CO ) = V ar b
0
1
" #
V ar(b0 ) Cov(b0 ; b1 )
=
Cov(b0 ; b1 ) V ar(b1 )
1.3.5 b0u
Otras maneras de obtener u b
Opción 1:
La suma de los cuadrados de los residuos mínimo-cuadráticos es:
b0u
SSR = u b
= y0 y b 0 X0 y
Prueba:
b0u
u b = (y X b )0 (y X b )
0 0
= y0 y 2 b X0 y+ b X0 X b
0 0
= y0 y 2 b X0 y+ b X0 X (X0 X)
1
X0 y
0
= y 0 y b X0 y
Opción 2:
7
La suma de los cuadrados de los residuos mínimo-cuadráticos es:
b0u
SSR = u b
0
= yy y b0 y
b
Xn X n
2
= yi ybi2
i=1 i=1
Prueba:
b = (X b )0 (X b )
b0 y
y
0
= b X0 X (X0 X)
1
X0 y
0
= b X0 y
Opción 3:
El vector de residuos mínimo-cuadráticos es una transformación lineal del
vector término de error
b = y Xb
u
1
= y X (X0 X) X0 y
h i
1
= In X (X0 X) X0 y
= My
= Mu
SSR = b0u
u b
= (My)0 (My)
= y0 M0 My
= y0 My
= (X + u)0 M(X + u)
= ( 0 X0 M + u0 M)(X + u)
= u0 M(X + u)
= u0 Mu
8
1.3.6 b de MCO
Media y Varianza de los residuos u
ujX) =
E(b E(MujX)
= ME(ujX)
= ME(u)
= 0
ujX) = V ar(MujX)
V ar(b
= M2 V ar(ujX)
= MV ar(u)
= 2u M
9
b0u
u b
E(b2u ) = E
n K
1
= u0 u
E(b b)
n K
1
= E [(Mu)0 (Mu)]
n K
1
= E [u0 Mu]
n K
Dado que u Mu es un número escalar, entonces es igual a tr(u0 Mu), donde
0
10
1.5 Modelo Lineal en Desviaciones con Respecto a la
Media
1.5.1 Algunas Matrices Útiles
2 3
1
6 1 7
6 7
1n = 6 .. 7
4 . 5
1 n 1
1 0 1 X
n
1n y = yi == y
n n i=1
X
n
10n 1n = 1 == n
i=1
X
n
b=
1n u bi = 0; para los residuos MCO
u
i=1
La matriz Q
1
Q = In 1n 10n
n
tiene las siguientes propiedades:
simétrica (Q = Q0 )
idempotente (QQ = Q)
1
Qy = In 1n 10n y
n
1
= y 1n 10n y
n
= y 1n y
2 3
y1 y
6 y2 y 7
6 7
= 6 .. 7
4 . 5
yn y
11
1
u =
Qb In 1n 10n u
b
n
1
b
= u 1n 10n u
b
n
b
= u
1
Q1n = In 1n 10n 1n
n
1
= 1n 1n 10n 1n
n
= 1n 1n
= 0n
2 3
a11 a12 a1P
6 a21 a22 a2P 7
6 7
QA = Q 6 .. .. ... .. 7
4 . . . 5
an1 an2 anP
2 3
a11 a1 a12 a2 a1P aP
6 a21 a1 a22 a2 a2P aP 7
6 7
= 6 .. .. .. .. 7
4 . . . . 5
an1 a1 an2 a2 anP aP
La matriz M
1
M In X (X0 X) X0 (3)
tiene las siguientes propiedades:
simétrica (M = M0 );
12
My = M(X + u)
= Mu
Mu = My
h i
1
= In X (X0 X) X0 y
= y Xb
b
= u
Luego, se puede interpretar M como una matriz que produce el vector de
los residuos de los mínimos cuadrados en la regresión de y sobre X cuando
premultiplica cualquier vector y.
h i
1
MX = In X (X0 X) X0 X
1
= X X (X0 X) X0 X
= X X
= 0n K
y = Xb + u
b
Qy = QX b + Qb
u
" #
b
1
= Q 1 n X2 b b
+u
2
= Q1n b1 + QX2 b 2 + u
b
= QX b + u
2 2 b
X02 Qy = X2 QX2 b 2
0
+ X02 u
b
|{z}
0K 1
13
las K 1 ecuaciones con las variables en desviaciones respecto a las medias
serán:
e b
e0 X e0 e
X 2 2 2 = X2 y
y = Xb + u
b
1 0 1 0
1 y = 1 Xb + ub
n n n n
y = b + x0 b
1 2
b0u
u b
R2 = 1 0
y Qy
b 0 X0 Qy
2 2
=
y0 Qy
donde utilizamos:
y0 Qy = (X b + u
b )0 Q(X b + u
b)
0 0
= (b X + ub )(QX b + u
0
b)2 2
0 0
= b X QX2 b 2 + b X0 u
0
b+u b 0 QX2 b 2 + u
b0u
b
= (QX b ) QX b + u
0
2 2 bu0
b
0
= b X QX b + u
0
b0u
b
2 2 2 2
0
= b X0 Qy + u
b0u
b
2 2
14
que nos dice que la bondad de ajuste R2 también puede escribirse como el
cuadrado del coe…ciente de correlación entre los valores efectivos (observados)
yi y los valores ajustados ybi : Hagamos la deducción:
b0u
u b
R2 = 1 0
y Qy
0
y Qy u b0u b
= 0
y Qy
0
y Qy u b 0 Qb u
= 0
y Qy
= falta completar
(y u b )0 Q (y u b)
= 0
y Qy
0
b Qb
y y
= 0
y Qy
y0 Qb y
= ; según resultado pregunta anterior
y0 Qy
y0 Qb yy b0 Qb y
= 0
y Qy y b Qb
0 y
2
Pn
yi yb)
(yi y) (b
[y0 Qb y ]2 i=1
= = n
(y0 Qy)(b y0 Qb y) P Pn
(yi y)2 yi yb)2
(b
i=1 i=1
donde utilizamos:
y b = (X b )0 u
b0 u b
0 0
= bXu b
= 0
b0 Qb
y y = b0 Q(y u
y b)
= b0 Qy y
y b0 Qbu
0 0
= b Qy y
y bu b
0
= b Qy
y
15
1.6 Regresión Particionada
Supongamos que se quiere estimar el modelo:
y = X +Z +u
= X Z +u
" #
0 b 0
X Z X Z b = X Z y
" #
X0 X X 0 Z b X0 y
b =
Z0 X Z0 Z Z0 y
Z0 X b + Z0 Zb = Z0 y
Z0 Zb = Z0 (y Xb)
b = (Z0 Z) 1
Z0 (y Xb)
A partir de la primera ”…la”, reemplazando el estimador b que acabamos de
obtener, escribimos:
X 0 X b + X0 Z b = X0 y
X0 X b + X0 Z (Z0 Z) Z0 (y X b )
1
= X0 y
X0 X b X0 Z (Z0 Z) Z0 X b
1 1
= X0 y X0 Z (Z0 Z) Z0 y
h i h i
X In Z (Z Z) Z X b
0 0 1 0 1 0
= X In Z (Z0 Z)
0
Z y
de…niendo
1
MZ = In Z (Z0 Z) Z0
que es simétrica e idempotente, obtenemos:
16
X0 M Z X b = X0 M Z y
(MZ X)0 (MZ X) b = (MZ X)0 (MZ y)
b X = MZ X
u
y el vector de los residuos de la regresión de Y sobre Z; es decir, lo que nos
”queda”después de ”descontar”el efecto de las variables Z sobre las y:
b Y = MZ y
u
Supongamos que estimamos un modelo de la variable y neta de Z sobre las
variables X netas de Z:
bY = u
u bX + v
obtendremos el estimador:
b = (b
u0X u
bX )
1
b 0X u
u bY
1
= (MZ X)0 (MZ X) (MZ X)0 (MZ y)
= b
y =b
uX +e
17
genera el mismo estimador que se obtuvo previamente:
b = u0X u
(b bX )
1
b 0X y
u
1
= u0X u
(b bX )(MZ X)0 y
0 1 0
= (b
uX ubX )X0 M Z y
0 1 0
= (b
uX ubX )X0 MZ MZ y
bY = b
1 0
u0X u
= (b bX ) ubX u
= b
y =X +u
y = X0 0 +v
18
¿Son o no insesgados? En general, no. Veamos por qué.
b = (X00 X0 )
1
X00 (X + u)
0
1
= (X00 X0 ) X00 X +(X00 X0 ) 1 X00 u
E b 0 jX
1
= (X00 X0 ) X00 X +(X00 X0 ) 1 X00 E(ujX)
1
= (X00 X0 ) X00 X
6=
b0 v
v b = (M0 y)0 (M0 y)
= y0 M0 y
= (X + u)0 M0 (X + u)
= u0 M0 u + 0 X0 M0 X + 2 0 X0 M0 u
E(b 0
vv bjX) = E(u0 M0 ujX) + 0 X0 M0 X + 2 0 X0 M0 E(ujX)
= E [tr(u0 M0 ujX)] + 0 X0 M0 X
= E [tr(uu0 M0 jX)] + 0 X0 M0 X
= tr (E [uu0 M0 jX]) + 0 X0 M0 X
= tr (M0 E [uu0 jX]) + 0 X0 M0 X
2 0 0
= u tr(M0 ) + X M0 X
= 2
u (n K 0 ) + 0 X0 M 0 X
0 0 0
bv
v b 2 X M0 X
E jX = u+
n K0 n K0
| {z }
Sesgo
0
bv
v b 2
E jX > u
n K0
19
del sesgo desaparecería:
0 0 0
X0 M 0 X = X MX
= 0, porque MX = 0
b0 v
v b 2
E jX = u
n K
0
En todos los demás casos, la forma cuadrática X0 M 0 X es positiva por
que el que estimador tendría un sesgo positivo.
y = X1 1 + X2 2 +u
y = X1 b1 + e
para analizar el sesgo de estimación por haber omitido una variable relevante,
debemos insertar en la ecuación anterior el verdadero modelo:
b 1 = (X0 X1 ) 1 X0 (X1 + X2 + u)
b 1 1 1 2
0 1 0 0 1
= 1 + (X X
1 1 ) X X
1 2 2 + (X 1 X1 ) X01 u
20
omitidas eran ortogonales a las ya incluídas; dicho de otra manera, que no
están correlacionadas en la muestra.
h i
E b b1 = 0 1
X0 X
1 + (X1 X1 )
| {z 1 }2 2
b1
= 1 + b1 2
| {z }
Sesgo
21
por el teorema de límite central:
b E b1
1 D
r ! N (0; 1)
var b 1
lo mismo para b 2 , b 3 , b J .
lo mismo para b 2 , b 3 ,. . . b J .
b y b , generalmente no están distribuídos independientemente, por
1 2
tanto tampoco sus estadísticos t (más adelante volveremos sobre ésto).
2.2.1 Ejemplos
1. Wooldridge, prob. 4.3. La variable gtosi&d son los gastos de
investigación y desarrollo (I&D) como porcentaje de ventas. Las ventas
se miden en millones de dólares. La variable ganan son las ganancias
como porcentaje de las ventas. Con los datos de 32 empresas de la
industria química, se estimó la ecuación siguiente:
gtosi&d = 0:472 + 0:321 log(vtas) + 0:050ganan
(1:369) (0:219) (0:046)
2
n = 32; R = 0:099
22
(a) Interprete el coe…ciente de log(vtas). En particular, si vtas(ventas)
aumenta en 10%, ¿cuál es el efecto cambio porcentual estimado
en gtosi&d? Muestre si tiene o no un efecto estadísticamente sig-
ni…cativo.
Respuesta:
Manteniendo ganan …jo,
gtosi&d = 0:321 log(vtas)
vtas
= 0:321
vtas
= 0:321 (0:10)
= 0:0321
= 3:21%
Para el incremento grande en ventas, parece prácticamente un
efecto pequeño.
Respuesta:
Se quiere testear la hipótesis
H0 : 2 =0
H1 : 2 6= 0
donde 2 es la pendiente poblacional respecto a ganan: El es-
tadístico t es
0:050 0
t= = 1:08696
0:046
Como vemos, no tiene un efecto estadísticamente signi…cativo,
porque su estadístico t es apenas 1.08696, el cual está muy por
debajo del valor crítico.
23