ECONOMETRÍA: MODELO DE REGRESIÓN LINEAL

Universidad de San Martı́n de Porres

lizbautistabc@gmail.com

Resumen
El modelo de regresión lineal consiste en un conjunto de suposiciones
acerca de cómo un conjunto de datos será producido por un ”Proce-
so Generador de Datos”(PGD). Si estudiamos la dependencia de una
variable en una sola variable explicativa dicho estudio se conoce como
análisis de regresión simple. Sin embargo, si estamos estudiando la depen-
dencia de una variable en más de una variable explicativa nos estamos refi-
riendo al análisis de regresión múltiple.
1. Introducción
1.1. Modelo Econométrico
Nota
La perturbación aleatoria aparece por varias razones. Una de ellas consis-
te en que no se puede esperar captar toda la influencia de una variable
económica en un modelo, por muy elaborado que éste sea. El efecto neto de
estos factores omitidos es captado por la perturbación aleatoria.
Suponemos que cada observación en yi , xi1, xi2, ..., xik, i = 1, ..., n es generado
por el proceso descrito por:
yi = xi1 β 1 + xi2 β 2 + ... + xik β k + µi
Nuestro objetivo es estimar los parámetros desconocidos del modelo, usar
los datos para estudiar la validez de las proposiciones teóricas, y quizás usar
el modelo para predecir la variable y.
por el número de ecuaciones:

Es una representada simplificada de la realidad, estructurada de tal forma  Uniecuacionales: El modelo consta de solo una ecuación.
que permita comprender el funcionamiento total o parcial de esa realidad o
Y = a + bX + cW
fenómeno, que involucra:
 Multi-ecuacional: El modelo consta de varias ecuaciones
Ecuaciones: Modelo matemático.
Y = a + bX + cW
Variables: Caracterı́sticas de interés observables que pueden tomar distintos
valores.. Z = d + eW + f Q
Parámetros: (Coeficientes) son valores que permanecen constantes y son des- Y = Zt
conocidos de aquella relación matemática. Por la asociación de variables con el tiempo:
Término aleatorio: (perturbación aleatoria) que representa a todas las carac-
terı́sticas que no han podido ser incluı́das en el modelo o relación matemática.  Estático: Todas las variables se refieren a un mismo periodo de tiempo.
Yt = a + bXt + cWt
1.2. Tipos de Modelos Econométricos  Dinámico: Las variables se refieren a distintos periodos de tiempo.
Yt = a + bXt−1 + cWt
Por la forma funcional:
Por la finalidad:
Lineales: Aquellos modelos en donde los parámetros son expresados en
forma lineal o pueden ser transformados a lineales.  Previsión: En la realización del pronóstico se pone especial atención en
obtener: Menor error cuadrático medio o mayor R2.
 No Lineales: Aquellos donde los parámetros no son lineales o no pue-
den ser transformados a lineales.  Decisión: Pone especial atención en obtener: Normalidad de residuos.

Por la cantidad de variables explicativas 1.3. Tipos de Datos

 Simple: Gran parte del análisis econométrico comienza con la siguiente
premisa:”y” y ”x” son dos variables que representan una población; además,
estamos interesados en explicar ”y” en términos de ”x”.
La estructura del modelo es:
y = β0 + β1 x + ε
Donde:
y: variable dependiente o variable explicada
x: variable independiente, variable explicativa o regresores.
De forma general existen cuatro tipos de datos que pueden ser empleados en
análisis cuantitativo de problemas económicos o financieros:
Datos de Corte Transversal: Consiste en datos de una o más variables tomados
en algún punto dado en el tiempo (dı́a, mes, años, etc.). Se obtienen mediante
una muestra de una población.
Datos de series de tiempo: Esta información se obtiene de la observación en
diferentes periodos de tiempo de la variable en cuestión.
Datos Agrupados: Los datos agrupados contienen información de corte trans-
versal y de series de tiempo juntos.

La variable ”ε”, denominada término de error o perturbación aleatoria; repre- 1.4. Algunos Modelos econométricos de acuerdo a los da-
senta factores distintos de x que afectan a y. En el análisis de regresión simple
se tratan en efecto todos los factores que afectan a y y que no sean x como si
tos estudiados
fueran no observados. Podemos pensar en ”ε” como no observado.

 Modelo de regresión multiple: El objeto de estudio es un modelo de

relación entre una variables dependiente y varias variables independientes
que de forma genérica se denota:
Y = f ( X, µ/β)
Desglosando la matriz X obtenemos:
Y = f ( x1, x2, x3, ..., xk, µ/β)
Donde:
Y: Variable explicada o regresando.
X: Variables explicativas o regresores.
β: Vector de parámetros.
µ: Perturbación aleatoria.
 ECONOMETRÍA: MODELO DE REGRESIÓN LINEAL
Universidad de San Martı́n de Porres
lizbautistabc@gmail.com

1.5. Proceso Metodológico en la Econometrı́a Obtención de datos: Para estimar los valores desconocidos de la relación eco-
nométrica, se necesitan datos, generalmente se toman datos muestrales.
Planteamiento de la teorı́a o de la hipótesis: Se establece un conjunto de Estimación de parámetro del modelo econométrico: Los datos o informacio-
hipótesis, leyes o conjeturas sobre el comportamiento de un fenómeno de la nes obtenidas en el paso anterior permiten estimar los valores desconocidos de
vida real ya existente o contribuciones de nuevas teorı́as. la relación matemática para tomar decisiones. Formas de estimación:
Por ejemplo Keynes plantea: ”La ley psicológica fundamental ... Consiste en
que los hombres y mujeres como regla general y en promedio, están dispuestos
• Mı́nimos Cuadrados Ordinadios (MCO): Como su nombre lo indica minimi-
de incrementar su consumo a medida que su ingreso aumenta, pero no en la
za los errores al cuadrado.
misma cuantı́a del aumento de su ingreso.” n
S( β) = ∑ 0 2
( yi − xi β ) = (y − Xβ) (y − Xβ) T

En otras palabras, Keynes postula que la ”propensión marginal a consu- i =1

! −1
mir”(PMC); es decir, la tasa de cambio del consumo generado por una unidad 1 n 1 n
de cambio en el ingreso, es mayor que cero pero menor que uno. β = arg mı́nρ
β ∈R
∑
n i =1
x x
i i
0
. ∑
n i =1
xi yi

Especificación del modelo matemático de la teorı́a: Es una representación for-

mal de las ideas o conocimientos anteriormente mencionadas acerca de las • Máximo de verosimilitud: Se pretende maximizar la función de verosimili-
teorı́as que generalmente se traducen bajo la forma de un conjunto de ecuan- tud. Selecciona el vector ˆ que maximiza la estimación de la probabilidad de la
ciones matemáticas. muestra.
n
La función Keynesiana de consumo podrı́a ser: ζ (θ | x1, ..., xn ) = ∏ f ( xi | θ )
i =1
n
Y = β0 + β1 X ; 0 < β1 < 1 lˆ(θ | x1, ..., xn ) = lnζ = ∑ ln f (xi |θ )
i =1

θ̂mle = arg máx lˆ(θ | x1, ..., xn )

θ ∈Θ
• Métodos Generalizado de Momentos (MGM): La existencia de ciertas con-
diciones de ortogonalidad se emplea para encontrar el estimador MGM que
minimice una determinada función objetivo. Estas condiciones de ortogona-
lidad hacen referencia, en general, al hecho de que la esperanza del producto
cruzado entre la perturbación aleatoria y las variables observables en un mo-
delo econométrico es igual a 0. Estas perturbaciones aleatorias, que no son ob-
servables pueden ser reemplazadas por una expresión equivalente, que esté
expresada en función del verdadero vector de parámetros y las variables ob-
servables.
N
! T
!
N
θ̂ = arg mı́n
θ
∑ f (Yi, θ ) A ∑ f (Yi, θ )
i =1 i =1

¿Los residuos estan bien comportados?

Para responder esta pregunta usamos el test de Jarque bera.

¿Son los betas obtenidos adecuados?

Especificación del modelo econométrico de la teorı́a: Es la misma identifica-
Para responder esta pregunta se realiza:
ción anterior pero incorporando un término aleatorio a la relación matemática,
éste término considerarı́a todos los elementos que por alguna razón no pueden • Prueba de significancia individual (Prueba t)
ser considerados en la relación matemática. • Prueba de significancia global (Prueba f)

El modelo matemático dado en el paso 2, supone que existe una relación exac-
ta o determinı́stica entre las variables, lo que no es cierto en la mayorı́a de los
casos.
Prueba de hipótesis: Para comprobar si los valores estimados concuerdan con
la teorı́a.
Pronóstico o predicción: Si el modelo escogido confirma la teorı́a, este modelo
se puede utilizar para predecir valores futuros o desconocidos.

Utilización para fines de control o polı́tica: Un modelo final estimado puede

ser utilizado para fines de control o de polı́tica.

2. Teorı́a asintótica
En esta sección trataremos las propiedades asintóticas que se dan en las suce-
siones variables aleatorias.
Convergencia de variables aleatorias: Consideremos una sucesión infinita de
variables { X } : { X1, X2, ..., Xn, ...}. Donde cada Xi es una variable aleatoria con
su correspondiente función de distribución, puede darse el caso que la sucesión
converja a una variable aleatoria (lı́mite) X, con una distribución de probabili-
dad asociada. Por ejemplo:
{ Xn } con Xn → B(n, p) para n = 1, 2, . . .
 ECONOMETRÍA: MODELO DE REGRESIÓN LINEAL
Universidad de San Martı́n de Porres
lizbautistabc@gmail.com

Definidas todas las variables aleatorias que componen la sucesión sobre el mis- medio de las n variables que componen una sucesión ; Ası́ si estamos ante una
mo espacio probabilı́stico ; dicha sucesión podrá converger a una variable alea- sucesión { Xn } establecemos que:
toria X de distintas maneras o tipos : X1 + X2 + ... + Xn
ηn =
• Convergencia puntual o convergencia segura: Una secuencia de variables n
aleatorias { Xn } convergen de forma segura a x cuando: Importante
Xn ( w ) = X ( w ), ∀w ∈ ω el comportamiento de ηn da lugar a las denominadas leyes de los grandes
números ; de manera que , si la convergencia que se produce lo es en ”proba-
• Convergencia casi-segura: Una sucesión de variables aleatorias, { Xn } , con- bilidad”, dará lugar a una ley débil de los grandes números. Si la convergen-
verge con probabilidad 1, o de forma casi segura, a una variable aleatoria X cia que se da es en forma casi segura la ley a la que de lugar se conocerá como
(que puede degenerar en una constante K) cuando se cumple que: ley fuerte de los grandes números. Por último , si la convergencia a que da
P( lı́m Xn = X ) = 1 lugar el planteamiento lo es en ”distribución”, y además esta es normal , dará
x →∞
lugar a lo que conocemos como teoremas centrales del lı́mite.
de esta forma interpretaremos que:
c.s
Xn −→ X
Cuando la probabilidad de que en el lı́mite la sucesión de variables aleatorias 3. Modelo Lineal General
y aquella a la que converge sean iguales es uno.
El modelo clásico de regresión lineal se basa en un conjunto de supuestos sobre
• Convergencia en probabilidad:Una sucesión de variables aleatorias, Xn , la manera de cómo se generan los datos a través de un proceso subyacente gene-
converge en probabilidad , a una variable aleatoria X ( que puede degenerar rador de datos.
en una constante K) cuando se cumple que:
lı́m P [| Xn − X ≥ ε|] → 0, ∀ε > 0 Los supuestos describen la forma del modelo y las relaciones entre sus partes y
n→∞
disponen los procedimientos de estimación e inferencia adecuados.
de esta forma interpretaremos que:
p
Xn −
→X 3.1. El modelo econométrico es estocástico
cuando en el lı́mite , la probabilidad de que sucesión de variables aleatorias
y aquella a la que converge difieran (en valor absoluto) en un valor mayor ε La presencia del termino error (µ) hace que la relación entre la variable expli-
(pequeño) es cero ( o complementariamente). Ha de tenerse en cuenta en este cada (variable endógena) y las variables explicativas (variables exógenas) sea
caso que la sucesión sólo implica a la sucesión de las probabilidades de los estocástica.Esto tiene muchas causas, sin embargo solo enumeraremos las tres
sucesos y no a las variables en sentido matemático razones principales:
• Convergencia en media p-ésima: Una sucesión de variables aleatorias, { Xn }
 El modelo generador de datos es solo una aproximación del verdadero mo-
, converge en media p-ésima, a una variable aleatoria X (que puede degenerar
delo de relación entre y y x.
en una constante K) cuando se cumple que:
 las variables económicas de interés estan sujetas a errores de medida, en
lı́m = E [| Xn − X |ρ ] → 0 muchos casos por inferirse su valor de muestras finitas y, en otros casos, por no
n→∞
de esta forma interpretaremos que: ajustarse al concepto económico que el investigador querı́a incorporar en su mo-
Lρ delo econométrico.
Xn −→ X  Es posible que existan otras variables determinantes del comportamiento de
cuando en el lı́mite, la dispersión de la sucesión de variables aleatorias toman- y x.
do como origen de ésta la variable a la que converge, es 0. Es de importancia
notar que pueden plantearse diversos tipos de convergencias en media de-
pendiendo del orden ρ del exponente
3.2. Linealidad del modelo de regresión
• Convergencia en ley ( o distribución) : Una sucesión de variables aleatorias, El supuesto de linealidad del modelo de regresión hace referencia a la manera
{ Xn } , converge en ley o en distribución a una variable aleatoria x , cuando se en que los parametros y la perturbación entran a formar parte de la ecuación y
cumpla alguna de las siguientes condiciones , en el convencimiento de que si no necesariamente la relación entre variables. El modelo debe tener la siguiente
se cumple una se cumplirán las restantes :
forma:
1. Si para toda función real g se verifica que:
Y = Xβ + µ
lı́m E [ g ( Xn )] = E [ g ( X )]
n→∞ Para referirnos a una unica observación del modelo lo denotamos de la siguiente
2. Si para todo número real t se cumple que: forma:
yi = x,i β + µi
h i h i
lı́m E etXn ) = E etX
n→∞
3. Si para todo par de puntos a y b ; tales que b > a se cumple que: El subindice i se utiliza para denotar el número de fila (observaciones) de X.
lı́m P ( a < Xn < b) = lı́m [ FXn (b) − FXn ( a) = P ( a < Xn < b) = FX ( a) − FX (b) Nuestro principal interés consiste en la estimación e inferencia de los parámetros
n→∞ n→∞
del vector β
4. Si para todo punto de X en el que las funciones de distribución de las varia-
bles de la sucesión sean continuas
El supuesto linealidad no es tan restringido como puede parecer a simple vis-
se cumple que:
ta. Podemos analizar algunos modelos que violan el supuesto de linealidad del
lı́m F ( Xn ) = F ( X )
n→∞ modelo:
de esta forma interpretaremos que:
d
Xn −
→X Modelo logarı́tmico lineal
cuando en el lı́mite el comportamiento de la función de distribución de la
sucesión de variables aleatorias y la de aquella a la que converge son igua- El modelo logarı́tmico tiene la siguiente forma:
les. k
∏
βk µ
Ley de los grandes números y= Xk e
Reciben el nombre de leyes de los grande números aquellas que parten del k =1

comportamiento asintótico de la variable ηn que no es otra cosa que el valor

 ECONOMETRÍA: MODELO DE REGRESIÓN LINEAL
Universidad de San Martı́n de Porres
lizbautistabc@gmail.com

Aplicando logaritmo a la función producto tenemos:
ln y = β 0 + β 1 ln x2 + β 2 ln x3 + ... + β k ln xk + µ
Esta expresión tambien es conocida como elasticidad constante; ya que, en esta
∂y
ecuación la elasticidad de y ante los cambios de x es η = ∂x = β k, que no varı́a
k
con xk. La forma logarı́tmica lineal se suele usar en los modelos de demanda y
producción. Diferentes valores de β producen generalmente funciones diversas.
Modelo semilogarı́tmico
El modelo semilogarı́tmico se utiliza, el modelo de crecimiento económico
como parte del parámetro β 0. Una situación en el que ocurrı́a este escenario es
cuando el investigador, por error, omite del modelo una variable explicativa re-
levante (sesgo de especificación). Que la media condicionada sea 0 implica que
la media no condicionada sea también 0
E[ µ i | X ] = E[ µ i ] = 0
Nota
Aunque en muchos casos el supuesto de media no es restrictivo pueden apa-
recer problemas en aquellos modelos que no contengan un término constan-
te. Por regla general, los modelos de regresión no deberı́an especificarse sin
término constante a menos que ası́ lo indique la teorı́a económica.

,
ln y = xi β + δt + µt
3.5. Perturbaciones esféricas
En este modelo, la tasa de crecimiento proporcional autónomo por perı́odo es
∂y Este supuesto hace referencia a la varianza y covarianza del término error.
∂t = δ
 Homocedasticidad (”homo = igual” ”cedasticidad = dispersión”)
La varianza del término error es la misma sin importar el valor de la observación
Modelo logarı́tmico transcendental de X

Estudios sobre y la producción se hacen habitualmente en un contexto de una Var (µ) = E[µi − E[µi | X ]]2
forma funcional flexible. Las formas funcionales flexible se utilizan en econo-
metrı́a porque permiten el análisis de los efectos de segundo orden, tales como la
Por el supuesto de media cero
elasticidad de sustitución que son las segundas derivadas de la función de pro-
ducción, costes o de la función de utilidad. 2
Var (µ) = E[ µ i | X ]

Si Xi es determinı́stico
3.3. Rango completo
Esta es una de las caracterı́sticas menos estrictas, pues excluye tan solo la posibi- Var (µ) = E[µ2i ]
lidad de que alguna de las variables explicativas del modelo econométrico pueda
2
escribirse como una combinación lineal exacta de las demas. En realidad todas Var (µ) = σµ
las variables económicas tienen algún grado de relación entre sı́; y, ello no produ-
ce un excesivo problema excepto cuando se llega a una situación de dependencia
total. Entonces debemos asegurarnos que no exista dependencia lineal exacta en- Sabemos que el supuesto de media condicionada igual a cero afirma que las
tre los regresores. observaciones en x no conllevan información sobre el valor esperado de la per-
turbación.
Este supuesto se conoce como condición de identificación.
Analicemos:
Nota
En el modelo de regresión lineal simple con término constante el supuesto de  
rango completo significa que deberı́a haber variación en el regresor x. Si no var(µ1) cov(µ1, µ2) ... cov(µ1, µn )
existe variación en xj (el subı́ndice j denota el número de columnas de la ma-

 cov(µ2, µ1) var(µ2) ... cov(µ2, µn ) 

triz de regresores x) todas nuestras observaciones estarán en una linea vertical.

 cov(µ3, µ1) cov(µ3, µ2) ... cov(µ3, µn ) 

Var (µ)= . . . .
 
Esto no invalida los otros supuestos del modelo; presumiblemente es un efecto 
. . . .
 
de los datos. Asi, el modelo todavı́a es válido, pero no podemos aprender nada  
. . . .
 
de él con los datos disponibles.  
cov(µn, µ1) cov(µn, µ2) ... var(µn )
Entonces:
3.4. Media cero
Asumimos que la esperanza matemática condicionada del término error es 0
σµ2
 
para cualquier observación 0 ... 0

 0 σµ2 ... 0 

E[ µ i | X ] = 0 0 0 ... 0
 
 
Var (µ)= . . . .
 
Desglosando la matriz X : 
. . . .
 
 
 
. . . .
 
E[µ1|X  
 E[µ |X  0 0 ... σµ2
 2 
 E[µ |X 
3 
Var (µ) = σµ2In

E[ µ i | X ] =  .  = 0
 
 . 
 
 . 
  Con este supuesto es evidente que los elementos fuera de la diagonal principal
E[µn |X de la matriz de varianzas y covarianzas es 0. Estos elementos son las covarianzas
entre los términos de error correpondientes a observaciones distintas; para este
Analizamos el caso en donde E[µi | X ] 6= 0 entonces la perturbación serı́a un efec- caso estamos afirmando que dichos términos están incorrelacionados entre sı́.
to constante y por tanto determinista en yi razón por la cual deberı́a incluirse
 ECONOMETRÍA: MODELO DE REGRESIÓN LINEAL
Universidad de San Martı́n de Porres
lizbautistabc@gmail.com

Además podemos notar que la matriz resultante después de aplicar el supuesto

es una matriz escalar; es decir que el término error del modelo es constante. La Entonces hallamos la esperanza matemática y la varianza para n=1 (n es la canti-
violación a este supuesto se denomina heterocedasticidad dad de observaciones)

De forma geométrica: E[ y ] = n x p
E[y] = 1 x 0,78 = 0,78

Var (y) = E[y − E[y]]2 = n x p x q

Var (y) = 0,22 x 0,78 = 0,1716

La distribución muestral depende de n

Nota
Teorema de Laplace De-Moivre: Es un caso particular del Teorema del lı́mite
central. Sea una variables aleatoria Bernoulli B(n, p) cuya esperanza matemáti-
Fuente: Gujarati ca es E(y)=np y cuya varianza es Var(y)=npq. Cuando n tiende a infinito, la
función distribución de Sn tiende a la distribución normal con las mismas me-
 No autocorrelación entre las perturbaciones dia y varianza, esto es N (np, npq).

Dados dos valores cualquiera de X, Xi y X j (i 6= j), la correlación entre µi y µ j

cualesquiera (i 6= j) es 0; es decir que las observaciones se muestran de manera 4. Palabras claves
independiente.
cov(µi µ j | X ) = 0, ∀ i 6= j En esta sección conocimos los siguientes términos:
Si X no es estocástico entonces:
cov(µi µ j ) = 0  Condición de Identificación
 Errores Bien comportados
 Función de distribuvión de probabilidad de Bernoulli
Las perturbaciones entre las observaciones deden ser independientes; es decir,
que las perturbaciones no deben seguir patrones sistemáticos.  Heterocedasticidad
 Homocedasticidad
 Linealidad del modelo de regresión
 Modelo econométrico estocástico
3.6. Regresores no estocásticos  Modelo de regresión simple
Este supuesto implica que X no es estocástico, es decir, son variables aleatorias  Modelo de regresión multiple
degeneradas. Notese que este supuesto no alcanza a la variable y; ya que, esta  No Autocorrelación
variable en su función lleva el término aleatorio.  Normalidad de los errores
 Perturbaciones Esféricas
Cuando se recaba información para un mismo periodo de tiempo las observa-  Proceso generador de datos
ciones son independiente e identicamente distribuido (i.i.d); es decir, que los  Rango completo
datos son una muestra aleatoria de la población; sin embargo, no puede haber  Regresores estocásticos
valores atı́picos.  Sesgo de especificación
 Supuesto de media cero
Nota  Teorema del lı́mite central
Variable aleatoria degenerada: Una variable aleatoria x es degenerada en un
 Variable aleatoria degenerada
valor a e R si toma dicho valor con probabilidad de 1; entonces su media y
varianza serán:

E[ X ] = a ; Var [ X ] = 0 Referencias
[1] G OLDBERGER , A.S., A course in econometrics, Harvard University Press, Lon-
3.7. Normalidad de los errores don, England, 1991.
El supuesto que el modelo de regresión tenga una distribución nor- [2] G UJARATI , D.N. y D AWN , C., Econometrı́a, quinta edicion, Mac Graw Hill,
mal garantiza que los test estadı́sticos tengan validez. Se denomina Mexico, DF, 2009.
”errores bien comportados” [3] G REENE , H.W., Análisis Econométrico, tercera edicion, Prentice Hall, España,
2
µ| X ∼ N[0, σ I] 1998.
[4] N OVALES , A., Econométrı́a, segunda edicion, Mac Graw Hill, España, Madrid,
Recordemos el teorema del lı́mite central uno de los fundamentos en estadı́stica, 1993.
que estudia la suma de variables aleatorias, cuando crece el número de suman- [5] A LVARADO , H. y B ATANERO , C.,(2008) ((Meaning of Central Limit Theo-
dos se asegura la convergencia hacia una distribución normal en términos muy rem in University Statistics and Probability Textbooks)), Estudios Pedagógi-
generales. cos,XXXIV, (2), págs. 7-28.

Ejemplo

Si ”y ”puede tomar los valores de 0 y 1 (Variable aleatoria de Bernoulli) con

la siguiente Función de Distribución de Probabilidad (FPP) :

Pr [y = 0] = 0,22 Pr [y = 1] = 0,78