Econometria

4. Modelo de Regresin Lineal Simple: Inferencia

Prof. Ma. Isabel Santana

MRLS: Inferencia
Hasta ahora nos hemos ocupado solamente de la
estimacin de los parmetros del modelo de regresin
lineal simple.
Pero los estimadores MICO son variables aleatorias,
que cambiarn segn la muestra. Nuestro objetivo no
es solamente estimar la FRM, sino poder hacer
inferencia respecto de la FRP.
Para poder hacer inferencia sobre los estimadores, es
necesario conocer sus distribuciones de probabilidad,
algo que no hemos estudiado hasta ahora.
MRLS: Inferencia

La inferencia estadstica nos sirve para

saber:
Que tan cerca estn los estimados de los
parmetros poblacionales.
Que tan cerca est Yi del verdadero E (Y / X )
MRLS: Inferencia
Distribucin de probabilidad de i
xi
ki =
x i2
2 = kiYi

2 = ki (1 + 2 X i + i )

Dado que las X son fijas, 2 es una funcin lineal de Yi.

A su vez, ki, las betas y las Xi son fijas, por lo que 2 es una
funcin lineal de i.
La distribucin de probabilidad de 2 depender de la
suposicin que se hizo de la distribucin de probabilidad de
i.
 MLRS: Inferencia
Supuestos de Normalidad
Para obtener los estimadores de 1 y 2 que sean MELI, no
hicimos ningn supuesto sobre la distribucin de
probabilidades de u.
Ahora, para tener intervalos de confianza para los parmetros
y probar cualquier hiptesis requerimos el supuesto:
Media E (i ) = 0

Varianza ( )
E [i E (i )] = E i2 = 2
2

Covarianza E{[ E ( )][ E ( )]} = E ( ) = 0

i i j j i j

~ N (0, )
i
2
Razones para suponer distribucin
normal
1. El argumento ms comn es que como u es la suma de
muchos factores distintos no observados que influyen en
Y, por el teorema del limite central, llegamos a la
conclusin de que u tiene una distribucin normal.
2. Una variante del teorema del lmite central, establece
que aunque el nmero de variables no sea muy grande
o no sea estrictamente independiente, su suma puede
ser an normal.
3. La distribucin de probabilidad de los estimadores MICO
puede derivarse fcilmente.
4. La distribucin normal es una distribucin sencilla, con
tan slo dos parmetros: media y varianza.
5. Podemos hacer pruebas de hiptesis (t, F, X 2) sobre los
verdaderos parmetros
Crticas al Supuesto
1. Los factores que afecta u pueden tener distribuciones
poblacionales muy distintas. Aunque puede sostenerse el
teorema central del lmite, los resultados van a depender de
cuantos factores afecten a u y que tan diferentes sean sus
distribuciones.
2. Supone adems que todos los factores afectan a u en forma
lineal y aditiva
3. La normalidad es un problema emprico (no terico). Por
ejemplo, como el salario siempre es mayor que cero,
estrictamente hablando no tiene una distribucin normal;
adems hay leyes de salario mnimo que hacen que una
parte de la poblacin gane exactamente el mnimo. Una
solucin es transformar la variable, por ejemplo utilizando
logaritmos [log(salario)], lo cual puede generar una
distribucin que se acerque ms a la normal
Propiedades de los estimadores MCO
bajo Normalidad

1. Son insesgados
2. Tienen varianza mnima. Combinado con (1), son
estimadores con varianza mnima, o eficientes.
3. Son consistentes. A medida que el tamao de la
muestra aumenta indefinidamente, los estimadores
convergen hacia sus verdaderos valores
poblacionales.
Propiedades de los estimadores MCO
bajo Normalidad
4. 1
y 2 (al ser funcin lineal de i) estn
normalmente distribuidos con:
1 2
Media: ( )
E 1 = 1 ( )
E 2 = 2

Varianza: 2
=
X i
2

2
2
=
2

1
n X i
2 2
X i
2

(
1 ~ N 1 , 2 1
) (
2 ~ N 2 , 2 2
)
Distribucin normal 1 1
Z= 2 2
estandarizada: 2 Z=
1 2 2

Donde Z ~ N (0,1)
Propiedades de los estimadores MCO
bajo Normalidad
5. (n 2)( 2 / 2 ) est distribuida como la distribucin
(ji-cuadrada), con (n-2) grados de libertad.
6. (1 , 2 ) se distribuyen de manera independiente
con respecto a 2 .
7. 1 y 2 tienen varianza mnima entre todas las
clases de estimadores insesgados, lineales o
no lineales.
Si se supone E (Yi ) = 1 + 2 X i
var(Yi ) = 2

Podemos decir (
Yi ~ N 1 + 2 X i , 2 )
Intervalos de confianza
La estimacin de un intervalo de confianza consiste en
construir un intervalo alrededor del estimador puntual (ej.
Dentro de dos o tres errores estndar a cada lado del
estimador puntual), tal que el intervalo tenga un 95% de
probabilidad de incluir el verdadero valor del parmetro.
Ej. Suponga que deseamos encontrar que tan cerca est
2 de 2 . Con este fin se trata de encontrar dos nmeros
positivos, y (este ltimo entre 0 y 1), tal que la
probabilidad de que el intervalo aleatorio ( 2 - , 2 + )
contenga el verdadero 2 sea
1 .
Intervalo de confianza ( )
Pr 2 2 2 + = 1
Coeficiente de confianza 1
Nivel de Significancia
Limite de confianza inferior 2
Limite de confianza superior 2 +
Intervalos de confianza
Antes es preciso recordar que:

El intervalo no dice la probabilidad de que 2 est en el
intervalo con una probabilidad de (1-); sino que la probabilidad
de construir un intervalo que contenga 2 es de (1-).
El intervalo es aleatorio; va a depender de la muestra, ya que 2

es aleatorio.
Si se construyen intervalos de confianza, en promedio tales
intervalos contendrn, en (1-) de los casos, el valor verdadero
del parmetro.

Una vez obtenido un valor numrico especfico de 2 (en base a
una muestra especfica), no puedo decir que el intervalo contiene
al verdadero parmetro con probabilidad (1-), sino que la
probabilidad es 1 0.
 Intervalos de confianza 1 y 2
Se puede utilizar la distribucin normal para hacer
afirmaciones probabilsticas sobre 1 y 2 siempre Z=
( 2 2 ) x 2
i

que se conozca la varianza poblacional

Sin embargo, 2no se conoce, y en la prctica se

estima con 2. En lugar de utilizar la distribucin t=
( 2 2 ) x 2
i Con n-2 g de l

normal se usa la distribucin t.

El intervalo de confianza se construye entonces con:
Intervalos de confianza
Para 2 Pr ( t / 2 t t / 2 ) = 1 Para 1 y 2 al 100(1-)%:
2
Pr t / 2 2
( )
ee 2
t / 2 = 1

( )
1 t / 2 ee 1
( ( ) ( ))
Pr 2 t / 2 ee 2 2 2 + t / 2ee 2 = 1 2 t / 2 ee( )
2

Para 1 Pr ( t
1 /2 ee( )
1 1 1 + t / 2 ee( )) = 1
1

t / 2 ,o valor crtico t, es el valor de la variable t obtenida de la distribucin t para un nivel de significancia

de /2 y n 2 g de l.
Entre ms grande el error estndar, ms amplio el intervalo de confianza, y mayor la incertidumbre de
estimar el verdadero valor del parmetro.
Prueba de Hiptesis
Se utiliza para mostrar si una observacin dada es
compatible o no con alguna hiptesis planteada, es
decir, si la observacin est lo suficientemente cerca al
valor hipottico de manera que no se rechaza la
hiptesis planteada.
Hiptesis Planteada: hiptesis nula (H0).
Hiptesis contra la cual se prueba la hiptesis nula:
Hiptesis alternativa (H1).
2 mtodos para decidir si se rechaza o no la hiptesis
nula:
1. Intervalo de confianza
2. Prueba de significancia
1. Intervalo de confianza
Ej. de modelo de consumo. Supongamos que se postula:
H0: 2=0.3
H1: 20.3

Hiptesis nula: La PMC=0.3

Hiptesis alterna: La PMC es menor o mayor a 0.3
H0 es una hiptesis simple y H1 compleja, dado que puede ser
mayor o menor al valor de H0. Se conoce tambin como hiptesis
de dos colas.
Para probar si es compatible con H0 se utiliza la estimacin de
intervalos.

Regla de decisin: Constryase un intervalo de confianza para 2 al 100(1 )%.

Si 2 bajo H0 se encuentra dentro de este intervalo de confianza, no se rechace H0,
pero si est por fuera del intervalo, rechace H0.
1. Intervalo de confianza

0.4268 0.5914

En el ej. de consumo-ingreso estimamos que el intervalo de

confianza para 2 era de (0.4268,0.5914). Siguiendo la regla
planteada, es claro que H0: 2=0.3 est fuera del intervalo de
confianza al 95%.
Se rechaza la hiptesis nula de que la verdadera PMC sea 0.3 con
95% de confianza.
Cuando se rechaza H0, se dice que el hallazgo es estadsticamente significativo.
Cuando no se rechaza H0, el hallazgo no es estadsticamente significativo.
2. Prueba de Significancia
El procedimiento se basa en utilizar un estadstico de prueba
(estimador) y su distribucin muestral bajo la hiptesis nula.
Bajo el supuesto de normalidad:
t=
( 2 2 ) x 2
i Con n-2 g de l

Bajo la hiptesis nula: ( ( ) ( ))
Pr 2* t / 2ee 2 2 2* + t / 2 ee 2 = 1 ; 2* = Valor de 2
bajo H0.
Regin de aceptacin de H0: 2* t / 2 ee 2 ( )
Regin de rechazo: Regin por fuera del intervalo de aceptacin de H0.

Bajo H0: ( 2 2 )
~ t n -2
Rechazamos H0:

2
t > tc Rechazo H0 si
t < -tc |t| > tc

Como t=
( 2 2
,
)
2

No rechazo H0 Rechazo H0 si ( 2 2 )
> tc
Rechazo H0: Rechazo H0:
( ( )) ( ( ))
2

2 < 2* t / 2ee 2 2 > 2* + t / 2ee 2

2. Prueba de Significancia
Test de una cola
H 0 : 2 = 2*
H1 : 2 > 2*
2. Prueba de Significancia
Test de dos colas
H 0 : 2 = 2*
H1 : 2 2*
Rechazo H0 si | t | > tc
2. Prueba de Significancia
Reglas de decisin

Regla de
Tipo de H0: Hiptesis H1: Hiptesis
decisin:
Hiptesis nula alterna
rechazar H0 si
Dos colas 2 = 2* 2 2* t > t / 2, g .de.l
Cola derecha 2 2* 2 > 2* t > t , g .de.l
Cola izquierda 2 2* 2 < 2* t < t , g .de.l
Notas:
-Es el valor numrico de 2 hipottico.
-|t| significa valor absoluto de t.
-t o t/2 significa el valor crtico de t al nivel de significancia o /2.
-g de l: grados de libertad, (n 2) para el modelo de dos variables, (n 3) para el modelo de 3 variables, y
as sucesivamente.
-Para probar hiptesis sobre 1 se sigue un procedimiento similar.
Aceptar o Rechazar la H0
Al momento de emitirse un dictamen sobre la
hiptesis nula, este debe de emitirse como
Rechazar H0 o No Rechazar H0.
No se puede aceptar una hiptesis nula,
puesto que no conocemos el verdadero valor,
sino que hacemos una inferencia del mismo.
Las hiptesis nulas aceptadas pueden ser
muchas dependiendo de cules hiptesis est
planteando.
Hiptesis nula o cero y regla prctica
2-t
La hiptesis nula H0:2=0 es usada frecuentemente
en el trabajo emprico, e implica que el coeficiente
de la pendiente es cero.
Esta H0 es un mecanismo para establecer si Y tiene
relacin con la variable X.
Estas pruebas pueden abreviarse adoptando la
regla de significancia 2-t:

Regla prctica 2-t: Si el nmero de grados de libertad es 20 y si , el

nivel de significancia, se fija en 0.05, entonces la hiptesis nula 2=0
puede ser rechazada si el valor t = (2 2 ) calculado excede a 2 en valor
absoluto.
2
Error tipo I y tipo II
H0 es cierto H0 es falso
Rechazo H0 Error tipo I
No Rechazo H0 Error tipo II

Si 2 cae en alguna de las colas de la distribucin (Rechazo H0),

puede ser por dos razones.
La hiptesis nula es cierta, pero se ha elegido una muestra equivocada
La hiptesis nula es efectivamente falsa

La probabilidad de cometer un error de tipo I est dada por , el nivel

de significancia.
La probabilidad de cometer un error tipo II esta dada por , en tanto
que la probabilidad de no cometer este error (1- ) se denomina
potencia de la prueba.
El problema relacionado con la seleccin del valor apropiado de puede ser
evitado si se utiliza el valor p o P-value que veremos a continuacin.
Error tipo I y tipo II

Lo deseable sera minimizar simultneamente tanto los errores tipo

I como tipo II, pero como se puede apreciar en los grficos esto no
es posible. En la prctica por lo general el error tipo I es ms grave,
por lo que se trata de minimizar primero este error y luego el error
tipo II.
Valor p o P-value
Nivel observado o exacto de significancia
o la probabilidad exacta de cometer un
error tipo I.
Se define como el nivel de significancia
ms bajo al cual puede rechazarse una
hiptesis nula.
Anlisis de Varianza (ANOVA)
Test de significancia global del modelo. Intenta medir el
ajuste de la recta de regresin con el conjunto de datos
provenientes de la muestra.
Este test, para el caso del modelo de regresin lineal
simple, tiene como hiptesis nula:

Sabemos que (1)

(2)
Elevando al cuadrado
 Tambin sabemos que

(3)

Se puede demostrar que (2) y (3) son independientes, por lo que:

(4)
 Simplificando tenemos que:

(5)

Si sustituimos la hiptesis nula en (5)

(6)
 Recordando, cuando descompusimos la suma de cuadrados
tenamos:

Asociado a cada suma de cuadrados existen sus respectivos grados

de libertad:

SCT: tiene n-1 grados de libertad, pues se pierde un grado de libertad al

calcular la media de Y.
SCE: un slo grado de libertad de calcular 2
SCR: tiene n-2 grados de libertad, pues se pierden dos grados de libertad
en las ecuaciones normales.

El numerador de (6) es la SCE y el denominador es la SCR divida
por sus grados de libertad.

(7)

Entonces, rechazo H0 si el valor calculado del estadstico F, es

mayor que F1, n-2
Otra forma alternativa de expresar (7):

(8)
Pruebas de Normalidad
Las pruebas de hiptesis e intervalos de confianza
estudiados, tienen como punto de partida el supuesto de
normalidad del residuo, por lo que si u no es normal,
estas pruebas no son vlidas.
Existen diferentes test que permiten verificar si los
residuos calculados para una muestra en particular (ei)
provienen de una distribucin normal. Uno de ellos es el
test de Jarque-Bera.
Test de Jarque Bera
Esta es una prueba asinttica que se basa en el tercer y cuarto
momento de la distribucin (asimetra y curtosis respectivamente).
Recordando:
Coeficiente de simetra:

En el caso de una distribucin normal, el coeficiente de simetra es

cero (S=0) y el de curtosis 3 (C=3).
Test de Jarque-Bera
Bajo la hiptesis nula de que los residuos estn normalmente
distribuidos, Jarque y Bera demostraron que asintticamente el
estadstico JB sigue una distribucin chicuadrado con dos grados
de libertad.

Es decir, si JB es mayor que una chi-cuadrado con 2 g.l, rechazo la

hiptesis nula, o sea, rechazo normalidad.
Qu pasa si los errores no se
distribuyen normal?
La normalidad exacta de los estimadores MICO depende
crucialmente de la distribucin del error en la poblacin (u).

Si los errores u1, u2, ...., un son elecciones aleatorias de alguna

distribucin que no es la normal, las j no estarn distribuidas en
forma normal, lo que significa que los estadsticos t y F no tendrn
distribuciones t y F, respectivamente.

Este es un problema potencialmente grave porque nuestra

inferencia depende de que seamos capaces de obtener valores
crticos o valores p de las distribuciones t o F.

La inferencia basada en los estadsticos t y F exige el supuesto de

normalidad. En caso contrario quiere decir que no debemos utilizar
el estadstico t para determinar qu variables son significativas
estadsticamente?
La respuesta es no.
Qu pasa si los errores no se
distribuyen normal?
En resumen, si el tamao de la muestra
no es muy grande y u no se distribuye
normal, debemos de tener mucho cuidado
al momento de hacer inferencia sobre los
estimadores.