TEMA Nº 3

REGRESION LINEAL

1. INTRODUCCION.- Sabemos que las especificaciones matemáticas pueden ser

expresadas en todas sus dimensiones como ser relaciones algebraicas y
trascendentes, si son algebraicas estas pueden ser lineales o no lineales, y si no
son lineales pueden ser logarítmicas, potenciales, exponenciales o curvas de
cualquier orden y precisamente estas pueden estudiarse como funciones de
regresión poblacional, los mismos que darán lugar a una estimación de los
parámetros de estas relaciones económicas, como ejemplo tenemos.

Dé a conocer la forma de cada una de las relaciones, su nombre, nombre de las

variables y como se denominan o significan cada uno de los parámetros.

1
Ahora todas las relaciones económicas son susceptibles de linealizarse, a través
del empleo de logaritmos, y como estamos tratando el capítulo del modelo lineal
de dos variables solo tomaremos en cuenta este tipo de relaciones, es decir
linealizando tendremos.

La teoría económica que corresponde al campo de las ciencias económicas,

aprendida hasta este momento introduce relaciones económicas generalmente del
tipo determinístico, es decir que estas relaciones aceptan desde el punto de vista
conceptual un solo resultado, excluyendo de este modo un número indefinido de
variables económicas. Sin embargo la teoría econométrica que corresponde al
campo de las ciencias sociales, elimina el concepto de las relaciones
determinísticas y solamente acepta las relaciones de tipo estocástico o
probabilístico con el fin de introducir el efecto neto de las otras variables no
incluidas explícitamente en el modelo.

Todas las relaciones del (1) al (9) son ecuaciones totalmente determinísticas o
que se refieren a relaciones funcionales exactas entre las variables. Sin embargo
un análisis muy sencillo nos demuestra que a través de un muestreo aleatorio los
puntos que corresponden a las observaciones no forman exactamente una línea
recta u otra función cualquiera, razón muy importante para introducir el famoso
término de error o perturbación, en las relaciones económicas, así por ejemplo,
sí:
Yi = α + βXi (1)

Por las explicaciones anteriores podemos introducir la variable estocástica “U i”,

es decir.

Yi = α + βXi + Ui (2) Función de regresión poblacional (F.R.P.)

Dicha relación se empleara para estimar proposiciones o juicios acerca de una

población, teniendo que estimarse los parámetros α y β a partir de una muestra.

2
2. EL MODELO DE REGRESIÓN LINEAL SIMPLE .- Analizando la función
de regresión poblacional (F.R.P.), o sea.

Yi = α + βXi + Ui (2)

Donde: Ui = Variable aleatoria, variable estocástica, perturbación estocástica,

término de error o término estocástico no observable.
 y  = Son parámetros de la regresión desconocidos.
i = 1,2,...,n: Número de observaciones o posición del valor de una
variable.

Yi Xi
------------------------------------------- -----------------------------------------------
Variable dependiente Variable independiente
 
Variable endógena Variable exógena
 
Variable explicada Variable explicativa
 
Variable efecto Variable causa
 
Regresando observable Regresor observable
 
RESPUESTA Variable de control o estímulo

El hecho de introducir una variable aleatoria en las relaciones económicas que no

sean una identidad o mejor dicho una ecuación de definición nos induce a
conocer sus características fundamentales del comportamiento de esta variable
desde el conocimiento de la distribución estadística hasta el tipo de covarianza
que pueda tener.

Estas características serán estudiados a través de los supuestos básicos o

hipótesis del modelo aplicados a todas las observaciones (i = 1, 2, ... , n), que son
las siguientes.

3
3. EXAMEN DE LOS SUPUESTOS BÁSICOS O HIPÓTESIS DEL
MODELO DE REGRESIÓN LINEAL. – Son los siguientes.

1) Y i = α + βX i + U i
2) Ui ∼ N
3) E(Ui) = 0
4) E (U i2 ) =  u2
5) E(Ui, Uj) = 0 ∀i ≠ j
6) Xi es un regresor fijo

El análisis e interpretación de los supuestos básicos que es el siguiente.

4
 
4. PROPIEDADES DE Yi, Y i y ei.- Por medio de los supuestos básicos del
modelo de regresión lineal simple podemos examinar las características de la
distribución probabilística de Yi.

Si Yi = α + βXi + Ui (1)

Tomando esperanza matemática miembro a miembro en (1), se tendrá.

E(Yi) = E(α + βXi + Ui) = E(α) + E(βXi) + E(Ui)

E(Yi) = α + βXi (2) F.R.P.

Por otro lado la varianza de una variable es una de las medidas de dispersión más
importante, que mide el grado de concentración o dispersión de los valores de
una variable aleatoria alrededor de un parámetro de posición o alrededor de una
línea de tendencia.

La varianza de una variable aleatoria Xi discreta o continua se define como el

valor esperado del cuadrado de las desviaciones de los valores de una variable X i
con respecto a su media o esperanza matemática, es decir.

V(Yi) = E{[Yi – E(Yi)]2} = E[(α + βXi + Ui – α – βXi)2] = E(Ui)2 =  u2

V(Yi) = E(Ui)2 =  u2 (3)

Resumiendo tendremos, que:

Yi ∼ N[(α + βXi),  u2 ]

Esto significa que si tenemos “n” observaciones cada una de ellas tendrá la
siguiente distribución.

Y1 ∼ N[(α + βX1),  u2 ]
Y2 ∼ N[(α + βX2),  u2 ]
...................................
Yn ∼ N[(α + βXn),  u2 ]

5
Su representación gráfica será:

GRÁFICO # 1
Y
P(u)

E(Yi)=α+βXi

0
X1
X2

Xn X

La figura # 1, nos muestra claramente que la varianza de la variable estocástica

es finita y constante para cada observación igual a  u2 , hipótesis econométrica
conocida con el nombre de Homoscedasticidad.

En cambio el caso opuesto, cuando la varianza es diferente para cada

observación y conocida en la literatura econométrica con el nombre de
Heteroscedasticidad, su gráfico es el siguiente.

GRÁFICO # 2

6
 Conociendo que la esperanza matemática de Yi es igual α + βXi y su varianza
 u2 , se observa que es necesario estimar los parámetros α , β y  u2 , la estimación
de estos tres parámetros dará origen a un estimador de Y i es decir se tiene que
reemplazar.

Yi = α + βXi Función de regresión poblacional

Por Yi = ̂ + ̂ Xi Función de regresión muestral

Su representación gráfica es la siguiente:

o
ej F.R.M.
o o
o Uj
o o o F.R.P.
o o
o o o
Y o o o Yj <
o o Ŷj
o o o E(Y j)
o
o

0 X Xj X

5. ESTIMACION DE PARAMETROS DE LA FUNCION DE REGRESION

POBLACIONAL (F.R.P.). –

2.1. METODO DE LOS MINIMOS CUADRADOS .- Por lo que se ha visto se

tiene tres parámetros a estimar que son: α, β y  u2 .

Por otro lado existen diversos métodos de estimación sin embargo se eligen los
métodos de acuerdo a las propiedades que poseen los estimadores obtenidos, en
este sentido para estimar los parámetros del modelo de regresión de dos
variables tomaremos en cuenta el método de los MÍNIMOS CUADRADOS, el
cual otorga estimadores lineales, insesgados y lo que es mejor tienen la menor
de las varianzas.

7
El método de los mínimos cuadrados, consiste en minimizar la sumatoria de los
cuadrados de los errores o más explícitamente minimizar lo siguiente.
2
Sí Σ℮ i = Σ(Yi – Ŷi)2 = Valor residual
min. Σ℮ i2 = min. Σ(Yi – Ŷi)2

Para lograr nuestro objetivo se debe aplicar la teoría de los extremos, que
plantea dos condiciones.

La primera condición de la teoría de los extremos, consiste en derivar

parcialmente la sumatoria del cuadrado de las desviaciones verticales respecto a
cada uno de los parámetros o estimadores para luego igualarlo a cero y de este
modo obtener las ecuaciones normales.

La segunda condición de la teoría de los extremos es hallar la segunda

derivada, luego evaluar el mismo, considerando la regla de que si es positivo es
un mínimo y si es negativo un máximo.

Σ℮ i = Σ(Yi – Ŷi)2 = Σ(Yi – ̂ – ̂ Xi)2

2
Sí (3)

Primera condición para ̂ :

  ei2
= 2Σ(Yi – ̂ – ̂ Xi)(– 1) = 0
̂
ΣYi – n ̂ – ̂ ΣXi = 0
ΣYi = n ̂ + ̂ ΣXi (4)

Segunda condición:

 2  ei2
= 2Σ(Yi – ̂ – ̂ Xi)0(– 1)(– 1)
̂ 2

  ei2
2
= 2Σ(1)(– 1)(– 1) = 2Σ(1) = 2n > 0
̂ 2
 2  ei2
= 2n > 0 => QUE ES UN MÍNIMO
̂ 2

Primera condición para ̂ :

  ei2
= 2Σ(Yi – ̂ – ̂ Xi)(– Xi) = 0
̂
Σ(Yi – ̂ – ̂ Xi)(Xi) = 0
8
 Σ(Xi Yi – ̂ Xi – ̂ X i ) = 0
2

ΣXiYi – ̂ ΣXi – ̂ ΣX i = 0
2

ΣXiYi = ̂ ΣXi + ̂ ΣX i
2
(5)

Agrupando (4) y (5), tendremos.


 Y  n
ˆ  
ˆ  X (4)


 XY  
ˆ  X  ˆ  X 2
(5) ECUACIONES
NORMALES

Despejando ̂ de (4), tendremos.

 Y  ˆ  X Y X
̂ = = – ̂ = Y – ̂ X (I)
n n n

Reemplazando (I) en (5), obtendremos la siguiente relación.

Reemplazando (II) en (I), obtendremos la siguiente relación.

Por otro lado sabemos que:

 
Y    
ˆ


Y 
ˆ

ˆ  
ˆ
X
X
(6)
(7)
Haciendo (6) – (7)
  
Ŷ– Y =  X –  X =  (X – X ) (8)

Ahora si:
xi = Xi – X (9)
yi = Yi – Y (10)
ŷi = Ŷi – Y (11)

9
Reemplazando (9) y (11) en (8), tendremos.

Ŷi – Y =  (Xi – X )

ŷi =  Xi (12)

Pero, ℮i = Yi – Ŷi Sumando y restando el segundo miembro por la Y

℮i = Yi – Ŷi + Y – Y
℮i = (Yi – Y ) – (Ŷi – Y )
℮i = yi – ŷi
∴

Σ℮ i2 = Σ(yi – ŷi)2 = Σ(yi –  xi)2 (13)

 e i2 
Donde: = 2Σ(yi –  xi)( – xi) = 0
̂
 2
Σ(xi yi –  x i ) = 0
 2
Σxi yi –  Σx i = 0

  xi y i (X i  X)(Yi  Y)
 = = ( IV )
 xi2 ( X i  X ) 2

10