DERIVACION DE ESTIMADORES EN LA REGRESION LINEAL MULTIPLE

Estimador de Mnimos Cuadrados Ordinarios

Uno de los procedimientos ms conocidos es el denominado Estimador de Mnimos Cuadrados
Ordinarios (MCO). Este procedimiento plantea utilizar, como estimacin de los parmetros,
aquella combinacin de
1
,
2
,
k
que minimice los errores que el modelo cometer. Qu
significa esto?. Est claro que, si dispusiramos a priori de los parmetros estimados
podramos escribir el MBRL NO como:

i ki k i i i
U x x x y + + + + + = | | | | ........
3 3 2 2 1


sino como:

ki k i i i
x x x y | | | |

........

3 3 2 2 1
+ + + + =

y, por tanto, podramos computar el error o residuo que el modelo comete en la estimacin de
cada valor de la endgena comparando, de forma inmediata, el valor real de la endgena en
cada observacin con el valor estimado:

)

........

(

3 3 2 2 1 ki k i i i
i i i
x x x y
y y e
| | | | + + + + =
= =


Este error dependera, evidentemente, del valor asignado a las estimaciones de los
parmetros ; pues bien, el mtodo de MCO sugiere utilizar aquella combinacin de
parmetros estimados que minimice la suma al cuadrado de todos los errores cometidos para
las n observaciones disponibles:



Para obtener algebraicamente una expresin de clculo operativa para los estimadores MCO,
procedemos de la siguiente forma:


Derivacin NO MATRICIAL de la expresin de los estimadores MCO

- La expresin a minimizar es:

( ) ( )

= =
= =
n
i
ki k i i i
n
i
i
x x x y e S
1
2
3 3 2 2 1
1
2

........

) ( | | | |

- Para obtener los valores de cada uno de los k parmetros
j
|

que minimizan esta

expresin derivamos con respecto a cada uno de ellos e igualamos a cero,
obteniendo k expresiones del tipo:




- Estas expresiones, se denominan ecuaciones normales. En este sistema de las
ecuaciones normales las incgnitas son los parmetros
j
|

a estimar y los valores

conocidos son los datos muestrales recogidos de la y y de las x.
( )

=
=
n
i
i MCO
e S
1
2
min ) min(

|
( ) ( )

=
= =
c
c
n
i
ji ki k i i i
j
x x x x y
S
1
3 3 2 2 1
0

........

2

) (
| | | |
|

- Observadas una a una, para cada parmetro, las expresiones de las ecuaciones
normales son:



= = = = =
+ + + + =
n
i
n
i
i ki k
n
i
i i
n
i
i i
n
i
i i i i
x x x x x x x x x y
1 1
1
1
1 3 3
1
1 2 2
1
1 1 1 1

........

| | | |

= = = = =
+ + + + =
n
i
n
i
i ki k
n
i
i i
n
i
i i
n
i
i i i i
x x x x x x x x x y
1 1
2
1
2 3 3
1
2 2 2
1
2 1 1 2

........

| | | |

= = = = =
+ + + + =
n
i
n
i
i ki k
n
i
i i
n
i
i i
n
i
i i i i
x x x x x x x x x y
1 1
3
1
3 3 3
1
3 2 2
1
3 1 1 3

........

| | | |

=
+ + + + + +
n
i 1
....... .......... ........ ........ ........ ........

= = = = =
+ + + + =
n
i
n
i
ki ki k
n
i
ki i
n
i
ki i
n
i
ki i ki i
x x x x x x x x x y
1 1 1
3 3
1
2 2
1
1 1

........

| | | |

- Lo que, teniendo en cuenta las expresiones matriciales del vector endgeno Y y
de la matriz de variables exgenas X, puede expresarse matricialmente como:

|

' ' X X Y X =

- De donde se obtiene fcilmente (despejando) la expresin final matricial
1
del
vector de parmetros estimados :






Derivacin MATRICIAL de la expresin de los estimadores MCO


Puede comprobarse cmo podramos haber planteado el desarrollo de la expresin de los
estimadores la estimacin utilizando exclusivamente lgebra matricial. Efectivamente, la
minimizacin de residuos puede plantearse a partir del vector de residuos e como:

( ) ( ) ( ) ( ) | | | | | |

' '

' '

' ' min

'

min ) ' min( X X Y X X Y Y Y X Y X Y e e + = =

Obsrvese cmo los productos matriciales |

' X Y y Y X ' '

| son en realidad el mismo e

iguales a un escalar: efectivamente, la primera expresin es la transpuesta de la segunda y
dado que el orden de cada una de ellas es (1x1), es decir, un escalar, estamos viendo en



|

( ) ( )
( ) Y X X X
X X X X Y X X X
X X Y X
' '

' ' ' '

' '
1
1 1

=
=
=
|
|
|
( ) ( ) ( ) ( )
( ) | | |
| | | | | |

' '

' '

2 ' min

' '

' '

' ' min

'

min ) ' min(

X X Y X Y Y
X X Y X X Y Y Y X Y X Y e e
+ =
+ = =
realidad dos expresiones equivalentes del mismo nmero (escalar). As pues, podemos escribir
|

' X Y + Y X ' '

| como |

' 2 X Y bien cmo Y X ' '

2| de modo que tenemos:

( ) | | |

' '

' '

2 ' min ) ' min( X X Y X Y Y e e + =

Ara resolver ahora la minimizacin, recurrimos de nuevo al concepto de derivada
(necesariamente parcial) para lo que, en el caso de las matrices, debemos recordar una
propiedad de utilidad: para cualquier par de matrices A y B se cumple que:

( )
B A BA
A
BA A
' 2 2
'
= =
c
c


En nuestro caso, debemos derivar respecto a |

( '

| ) tres sumandos, y es para el tercero de

ellos ( | |

' '

X X ) para dnde debemos recordar la propiedad matricial anterior (en nuestro

caso, A es la matriz |

y B es la matriz XX).

( )
0

' 2 ' 2 0 0

' '

' '

2 '
0

) ' (
) ' min( = + =
c
+ c
=
c
c
= |
|
| | |
|
X X Y X
X X Y X Y Y e e
e e


de donde nuevamente obtenemos:

( ) Y X X X ' '

1
= |


Interpretacin intuitiva de los estimadores MCO en la regresin mltiple

La interpretacin del significado de los estimadores MCO es mucho ms interesante que los
detalles tcnicos sobre su derivacin. Qu representa un parmetro estimado
j
|

?

Si imaginamos una ecuacin estimada con dos variables exgenas ms un trmino
independiente, el modelo estimado sera:

i i i
x x y
3 3 2 2 1

| | | + + =

Imaginemos una muestra temporal donde i representa el paso del tiempo. Si expresamos
ahora el modelo en diferencias, es decir, si al valor estimado de y en el perodo i (
i
y ) le
restamos el valor estimado de y en el perodo i-1 (
1

i
y ) tenemos que:

( ) ( )
i i i
i i i i i i
x x y
x x x x y y
3 3 2 2
1 3 3 1 2 2 1 3 3 2 2 1 1

A + A = A
+ + + + =

| |
| | | | | |


Qu representa por tanto
2

| ?. Una forma simple de expresar

2

| es:

2
2
3

0 | =
A
A
= A
i
i
i
x
y
x

Es decir,
2

| permite computar el cambio obtenido en y producido por un cambio en x

2

mantenindose x
3
constante. Es decir: los coeficientes de la regresin mltiple son
coeficientes ceteris paribus o, ms propiamente dicho, coeficientes de correlacin parcial.

El punto clave, como seala Wooldridge
2
, es que la estimacin de estos coeficientes parciales
(o cteris paribus) se obtiene an cundo los datos no se hayan observado o recogido en esas
condiciones. Es decir, la regresin mltiple nos permite imitar () lo que los cientficos hacen
en los entornos (experimentales) controlados de laboratorio: conservar fijos otros factores.

Imaginemos, por ejemplo, el resultado obtenido en la estimacin de una regresin que
relaciona las ventas mensuales de nuestra empresa con los cambios en los precios y en la
publicidad:

i i i
Pub V 3 , 1 Pr 5 , 0 2

+ =

Si las ventas y la publicidad estn medidas en millones de euros y los precios en euros por
unidad:

- El parmetro -0.5 de los precios indicara que por cada incremento de un euro en el
precio unitario, nuestras ventas se reduciran en medio milln de euros siempre y
cuando se mantuviese constante el presupuesto en publicidad.
- El coeficiente de 1.3, positivo, indica que, si no variamos el precio de venta, un
incremento de 1 milln de euros en publicidad genera un incremento de ventas de 1.3
millones.

Evidentemente, la empresa nunca movi slo los precios o slo la publicidad, sino que todos
los aos hizo, probablemente, ambas cosas: sin embargo, la regresin mltiple permite aislar
ambos efectos.

Una observacin de inters es: qu sucede si slo utilizamos una de las dos variables en la
regresin?. En ese caso, puede observarse que los resultados de las dos regresiones
individuales son:

i i
V Pr 38 , 0 9 , 1

=
i i
Pub V 9 , 3 6 , 1

=

Los resultados de la regresin sobre el precio son similares a los obtenidos en la regresin
mltiple pero qu ha sucedido con los resultados de la regresin sobre la publicidad?.
Utilizando los mismos datos, el signo de la Publicidad en su relacin con las ventas es ahora
negativo cmo podemos explicar esto?. Observemos la evolucin de las ventas, los precios y
la publicidad en los aos utilizados para la estimacin.





2
Introduccin a la econometra. Un enfoque moderno. Ed. Thomson.
-2
-1
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
ventas
precio
publicidad

Cuando tomamos slo los datos de la publicidad y las ventas, observamos que, efectivamente,
a lo largo de los ltimos 15 aos la publicidad se ha incrementado notablemente pero, sin
embargo, las ventas han disminuido; sin embargo, durante este mismo perodo, los precios han
crecido tambin de forma muy significativa, de modo que el efecto tericamente positivo de la
publicidad se ha visto anulado por un incremento descontrolado de los precios. Si slo
observamos la relacin entre ventas y publicidad, subestimamos clamorosamente el efecto de
la publicidad; del mismo modo, si slo observamos la relacin entre ventas y precios,
subestimamos tambin el efecto negativo de un alza en los precios (la realidad es que, si no
hubisemos elevado la publicidad a lo largo de estos 15 aos, la cada de las ventas ante tal
incremento de los precios hubiera sido algo mayor).

INTERPRETACION DE REGRESION MULTIPLE

ribus ceteris pa
x y
x x
x x x y
x x x y
k
k k
k k
cin interpreta una
tiene cada decir, es ,

que implica , constantes ,..., mantenemos si y

,

...

que modo de ,

...

1 1
2
2 2 1 1
2 2 1 1 0
| |
| | |
| | | |
A = A
A + + A + A = A
+ + + + =


ESTIMACION SIMPLE VS MULTIPLE










EJERCICIO

Uso de EViews para estimar e interpretar modelos de regresin mltiple
Podemos hacer una demostracin de la aplicacin del modelo de regresin mltiple con
nuestro modelo de consumo de gas usando los datos de la muestra presentados en el
cuadro 3.
Primero tenemos que leer los datos en EViews.
Los datos estn en el archivo Excel Ejemplo_2.xls. En EViews use File/Open/Foreign
Data as Workfile y localice el archivo Excel.
Una vez que los datos estn cargados ingrese las fechas. En la ventana Workfile haga
doble click en en Range. Seleccione la frecuencia apropiada (quarterly, iniciando en
1971). Puede ahora guardar el workfile usando File/Save As

Podemos obtener la ecuacin estimada haciendo clic en la variable cgas y luego con la
tecla ctrl y haciendo clic en precio y temperatura. Haga clic con el botn derecho del
mouse despus de cambiar de lugar el cursor a cualquier parte de la rea iluminada y
vaya a Open, As Equation. Aparece la ventana de ecuacin. Haga clic en OK, y aparece
el resultado, que puede ser seleccionado, copiado y pegado en un archivo de Word

muestra. la en alguna n correlaci tengan no y bien o
) ivo significat parcial efecto un tenga no (i.e. 0

: que menos a

~
general, En

multiple regresin la con
~ ~
~
simple regresin la Compare
2 1
2 2
1 1
2 2 1 1 0
1 1 0
x x
x
x x y
x y
=
=
+ + =
+ =
|
| |
| | |
| |
Dependent Variable: CGAS
Method: Least Squares
Date: 05/06/09 Time: 16:51
Sample: 1971Q1 1982Q4
Included observations: 48


Variable Coefficient Std. Error t-Statistic Prob.


PRECIO -1.084660 0.069061 -15.70581 0.0000
TEMP -0.220238 0.019330 -11.39370 0.0000
C 39.14474 1.476124 26.51859 0.0000


R-squared 0.885067 Mean dependent var 14.46667
Adjusted R-squared 0.879958 S.D. dependent var 5.428465
S.E. of regression 1.880801 Akaike info criterion 4.161734
Sum squared resid 159.1836 Schwarz criterion 4.278684
Log likelihood -96.88162 F-statistic 173.2655
Durbin-Watson stat 1.164967 Prob(F-statistic) 0.000000




Ejemplo Funcin de Consumo
Si retomamos el ejemplo de la funcin de consumo los resultados de regresin usando
EViews son :

Dependent Variable: CONSND
Method: Least Squares
Date: 02/24/05 Time: 09:23
Sample: 1955 1997
Included observations: 43


Variable Coefficient Std. Error t-Statistic Prob.


PDI 0.747169 0.007051 105.9645 0.0000
C 22341.12 1980.992 11.27774 0.0000


R-squared 0.996362 Mean dependent var 222290.4
Adjusted R-squared 0.996273 S.D. dependent var 64784.42
S.E. of regression 3954.973 Akaike info criterion 19.44873
Sum squared resid 6.41E+08 Schwarz criterion 19.53065
Log likelihood -416.1477 F-statistic 11228.47
Durbin-Watson stat 0.411103 Prob(F-statistic) 0.000000



De los T-Ratios inferimos que o y | son significativamente distintos de cero. Note
tambin el alto valor del "R - ajustado" de 0.99636.
Podemos hacer una prueba informal adicional de la calidad de esta estimacin de la
funcin de consumo. Podemos evaluar su poder para pronosticar valores. Hacemos esto
de la siguiente manera. Usamos un perodo de pronostico de 10 aos y definimos el
perodo pronosticado como 1988 a 1997.
Re- calculamos la funcin de consumo durante el nuevo "Perodo de muestra" de 1955
a 1987, y luego hacemos que esta ecuacin recalculada genere los pronsticos.
Es decir, sabemos el valor verdadero de consumo durante el "Perodo pronosticado" as
podremos comparar los pronsticos generados por la ecuacin recalculada con estos
valores verdaderos para ver la calidad de los pronsticos.
El nuevo modelo estimado para el perodo 1955 a 1987 es :

Dependent Variable: CONSND
Method: Least Squares
Date: 02/24/05 Time: 09:26
Sample: 1955 1987
Included observations: 33


Variable Coefficient Std. Error t-Statistic Prob.


PDI 0.730878 0.009624 75.94542 0.0000
C 25564.82 2267.372 11.27509 0.0000


R-squared 0.994654 Mean dependent var 193060.3
Adjusted R-squared 0.994482 S.D. dependent var 40689.72
S.E. of regression 3022.693 Akaike info criterion 18.92438
Sum squared resid 2.83E+08 Schwarz criterion 19.01507
Log likelihood -310.2522 F-statistic 5767.707
Durbin-Watson stat 0.603144 Prob(F-statistic) 0.000000



El modelo sigue siendo altamente significativo tanto en trminos de los parmetros
estimados como de R
2

La ecuacin para predecir sera
t t
PDI CN 73088 . 0 8 . 25564 + =
.

Por ejemplo, para obtener el valor de 1988
9 . 286279 ) 356714 )( 73088 . 0 ( 8 . 25564 73088 . 0 8 . 25564
1988
1988 = + = + =
.
PDI CN
EViews hace esto automticamente, a travs del botn de Forecast en la ventana de la
estimacin. Los valores estimados se generan en una nueva serie y se obtiene un grfico
con el forecast .



Es quizs ms til obtener un grfico de los valores verdaderos y el forecast. Se puede
hacer usando Quick / Graph/ Line y seleccionando las series a graficar.


Una conclusin que surge del anlisis es que si bien el modelo funciona bien dentro de
la muestra el poder predictivo fuera de la muestra se reduce. El modelo simple del gasto
de consumidores es inadecuado para hacer pronsticos y en alguna medida puede

120000
160000
200000
240000
280000
320000
360000
1955 1960 1965 1970 1975 1980 1985 1990 1995
CONSND CONSNDF
Estimation Period
Forecast Period
inducir a errores. Veremos ms adelante los problemas presentes en ese tipo de
estimaciones de series de tiempo y la forma de solucionarlos.
Ejercicios
1. El siguiente cuadro muestra Gasto de Consumidores, Patentamientos de Autos (
promedios mensuales) y el Ingreso Personal Disponible para el UK durante el
perodo 1955 a 1997.

Gasto de Consumidores, Patentamientos de Autos e Ingreso Personal Disponible
UK perodo 1955 a 1997.

Ao Consumo Patentes Ingreso Ao Consumo Patentes Ingreso
1955 137136 41.8 142664 1977 224892 109.4 247695
1956 138105 33.3 146143 1978 236909 131.6 265925
1957 141004 35.3 148510 1979 247212 142.1 281084
1958 144614 46.3 150973 1980 247185 126.6 285411
1959 150913 54 158738 1981 247402 124.5 283176
1960 156735 67.1 169199 1982 249852 132.1 281722
1961 160199 61.9 176256 1983 261200 150.5 289204
1962 163925 65.4 178286 1984 266486 146.6 299934
1963 170874 84.1 185426 1985 276742 153.5 309807
1964 176044 99.3 193247 1986 295622 156.9 323394
1965 178493 93.5 196998 1987 311234 168 335720
1966 181550 88.8 201207 1988 334591 184.2 356714
1967 185985 93 204171 1989 345406 192.1 370932
1968 191209 93.1 207772 1990 347527 167.1 378638
1969 192366 82.3 209684 1991 340037 133.3 378154
1970 197873 91.4 217675 1992 339652 133.3 385757
1971 204139 108.5 220344 1993 348164 148 393256
1972 216752 138.6 238744 1994 357845 158.9 399572
1973 228615 137.3 254329 1995 364046 161.5 412376
1974 225317 102.8 252360 1996 377166 168.2 425821
1975 224580 98.6 253814 1997 394545 172.3 443356
1976 225666 106.5 253012

(a) Obtenga scatterplots del consumo contra ingreso disponible y nuevas
patentes de automviles contra ingreso disponible. Comente sobre la fuerza
de la asociacin implcita entre estos dos juegos de variables.
(b) Calcule los coeficientes de correlacin entre el gasto de consumidores e
ingreso disponible, y nuevas patentes de automviles e ingreso disponible.
Comente
(c) Especifique un modelo de regresin que explique el nivel de nuevas
patentes en relacin con el nivel de ingreso disponible. Estime el modelo y
analice los resultados.
(d) Recalcule su modelo para el perodo 1955 a 1987. Use el modelo para
pronosticar el perodo 1988 a 1997, y genere un grfico de los valores
pronosticados contra los valores verdaderos. Comente.

2. El siguiente cuadro presetna las tasas de crecimiento del PBI, el crecimiento de la
Inversin Bruta Fija y la tasa de inflacin en el Reino Unido para el perodo 1970 a
1996.
Crecimiento de PBI, Inversin y tasa de Inflacin

Ao
(%) de
crecimiento PBI
Crecimiento
de IBF (%)

(%) de tasa de
inflacin
1970 2.5 2.5 5.9
1971 2.1 1.8 8.7
1972 3.5 -0.2 6.5
1973 6.7 6.5 8.4
1974 -1.4 -2.4 17.0
1975 -0.1 -2.0 23.5
1976 2.2 1.7 15.7
1977 2.2 -1.8 14.7
1978 3.6 3.0 9.5
1979 2.8 2.8 13.7
1980 -1.6 -5.4 16.3
1981 -1.3 -9.6 11.2
1982 1.6 5.4 8.7
1983 3.5 5.0 4.8
1984 2.5 8.9 5.0
1985 3.5 4.2 5.3
1986 4.4 2.6 4.0
1987 4.8 10.3 4.3
1988 5.0 13.9 5.0
1989 2.2 6.0 5.9
1990 0.4 -3.5 5.5
1991 -2.0 -9.5 7.4
1992 -0.5 -1.5 4.7
1993 2.1 0.6 3.5
1994 3.9 3.7 2.5
1995 2.5 -0.7 2.6
1996 2.4 4.2 2.7

(a) Estime un modelo que explique la tasa de crecimiento del PBI en relacin con la
inversion y la inflacin. Comente sobre sus resultados. Obtenga un grfico de los
valores estimados y verdaderos. Comente los resultados.
(b) Recalcule su modelo para el perodo 1970 a 1991, y use este modelo para
pronosticar el crecimiento econmico durante el perodo 1992 a 1996. Analice y
comente los resultados.
BIBLIOGRAFIA

http://www.matematicas.unam.mx/reportesC/Eslava_etal_Un%20estimador_05-01-10.pdf
www.ucema.edu.ar/~dl/CURSOS/.../NOTAS_CLASE2_MEP.doc


http://r-econ.blogspot.com/2010/12/estimadores-mco-derivacion.html
webs.uvigo.es/pintos-clapes/docencia/tema3.pdf
investigadores.cide.edu/.../data/.../Wooldridge_cap03mco_multiple.p