El modelo de regresión

lineal simple
Modelo clásico de regresión lineal

Fernando Gonzales Fernández

 Modelo de regresión lineal simple

Y  b1  b 2 X

b1

X1 X2 X3 X4 X

Suponga que la variable Y es una función lineal de otra variable X, con parámetros desconocidos b1 y b2
que deseamos estimar.

1
 Modelo de regresión lineal simple

Y  b1  b 2 X

b1

X1 X2 X3 X4 X

Además tenemos una muestra de 4 observaciones con valores X .

2
 Modelo de regresión lineal simple

Y  b1  b 2 X
Q4
Q3
Q2
b1 Q1

X1 X2 X3 X4 X

Si la relación fuera exactamente 1. Las observaciones se encontrarían en una línea recta y podríamos
fácilmente obtener estimaciones exactas para b1 y b2.

3
 Modelo de regresión lineal simple

Y P4

Y  b1  b 2 X

P1 Q4
Q3
Q2
b1 Q1 P3
P2

X1 X2 X3 X4 X

En la practica, muchas relaciones económicas no son exactas y los valores reales de Y son diferentes a los
valores correspondientes de la recta.

4
 Modelo de regresión lineal simple

Y P4

Y  b1  b 2 X

P1 Q4
Q3
Q2
b1 Q1 P3
P2

X1 X2 X3 X4 X

Para tener en cuenta esas divergencias, re escribimos el modelo como Y = b1 + b2X + u, donde u es un
termino de perturbación ( o incertidumbre).

5
 Modelo de regresión lineal simple

Y P4

Y  b1  b 2 X
Q4
u1 P1 Q3
Q2
b1 Q1 P3
P2
b1  b 2 X 1

X1 X2 X3 X4 X

Por lo tanto cada valor de Y tiene un componente no aleatorio. (b1 + b2X) y un componente aleatorio (u)
La primera observación se ha descompuesto en sus dos componentes.

6
 Modelo de regresión lineal simple

Y P4

P1

P3
P2

X1 X2 X3 X4 X

Pero, en la practica, solo podemos ver los puntos P.

7
 Modelo de regresión lineal simple

Y P4

Yˆ  bˆ1  bˆ2 X

P1

P3
P2
b̂1

X1 X2 X3 X4 X

Obviamente, podemos usar los puntos P para dibujar una línea que es una aproximación a la línea Y = b1
+ b2X. Si dibujamos esa línea Ŷ  bˆ1  bˆ2 X , b̂1 es una estimación de b1 y b̂ 2es una estimación de b2.

8
 Modelo de regresión lineal simple

Y (valor actual)
Y Ŷ (valor estimado) P4

Ŷ  bˆ1  bˆ2 X
R3 R4
R2
P1

R1 P3
P2
b̂1

X1 X2 X3 X4 X

Esta línea es llamada “modelo estimado” y los valores de Y sombrero son llamados los valores estimados
de Y. Eso se da por alrededor del punto R.

9
 Modelo de regresión lineal simple

Y (valor actual)
Y Ŷ(valor estimado) P4

Y  Yˆ  e (residuo)
e4
Ŷ  bˆ1  bˆ2 X
R3 R4
R2
e1 P1 e3
e2
R1 P3
P2
b̂1

X1 X2 X3 X4 X

Las discrepancias entre el valor actual y el valor estimados se conoce como los residuales o residuos.

10
 Modelo de regresión lineal simple

Y (valor actual)
Y Ŷ (valor estimado) P4

Ŷ  bˆ1  bˆ2 X
R3 R4 Y  b1  b 2 X
R2
P1

b1 R1 P3
P2
b̂1

X1 X2 X3 X4 X

Observe que los valores de los residuos no son los mismos que los valores del termino de perturbación. El
diagrama muestra la verdadera relación desconocida, así como la línea ajustada.

11
 Modelo de regresión lineal simple

Y (valor actual)
Y Ŷ (valor estimado) P4

Ŷ  bˆ1  bˆ2 X
Y  b1  b 2 X

P1 Q4
Q3
Q2
b1 Q1 P3
P2
b̂1

X1 X2 X3 X4 X

El término de perturbación en cada observación es responsable de la divergencia entre el componente no

aleatoria de la verdadera relación y la observación real.

12
 Modelo de regresión lineal simple

Y (valor actual)
Y Ŷ (valor estimado) P4

Ŷ  bˆ1  bˆ2 X
R3 R4 Y  b1  b 2 X
R2
P1

b1 R1 P3
P2
b̂1

X1 X2 X3 X4 X

Los residuos son las discrepancias entre el valor actual y el valor estimado

13
 Modelo de regresión lineal simple

Y (valor actual)
Y Ŷ (valor estimado) P4

Ŷ  bˆ1  bˆ2 X
R3 R4 Y  b1  b 2 X
R2
P1

b1 R1 P3
P2
b̂1

X1 X2 X3 X4 X

Si el ajuste es bueno, los residuos y los valores del término de perturbación será similares, pero los
mismos deben mantenerse separados conceptualmente.

14
 Modelo de regresión lineal simple

Y (valor actual)
Y Ŷ (valor estimado) P4

u4 Ŷ  bˆ1  bˆ2 X
Y  b1  b 2 X
Q4

b1 b1  b 2 X 4
b̂1

X1 X2 X3 X4 X

Ambas líneas se usaran en nuestro análisis. Cada una permite una descomposición del valor de Y. La
descomposición puede ser ilustrada en la cuarta observación

15
 Modelo de regresión lineal simple

Y (valor actual)
Y Ŷ (valor estimado) P4

u4 Ŷ  bˆ1  bˆ2 X
Y  b1  b 2 X
Q4

b1 b1  b 2 X 4
b̂1

X1 X2 X3 X4 X

Usando la relación teórica, Y puede ser descompuesta en sus componentes no estocásticos b1 + b2X y en
su componente estocástico u.

16
 Modelo de regresión lineal simple

Y (valor actual)
Y Ŷ (valor estimado) P4

u4 Ŷ  bˆ1  bˆ2 X
Y  b1  b 2 X
Q4

b1 b1  b 2 X 4
b̂1

X1 X2 X3 X4 X

Esta es una descomposición teórica, porque no conocemos los valores de b1 o b2, o los valores del
termino de error. Usaremos esto en nuestro análisis de las propiedades de los coeficientes de regresión.

17
 Modelo de regresión lineal simple

Y (valor actual)
Y Ŷ (valor estimado) P4

e4 Ŷ  bˆ1  bˆ2 X
R4 Y  b1  b 2 X

b1 Yˆ4  bˆ1  bˆ2 X 4

b̂1

X1 X2 X3 X4 X

La otra descomposición hace referencia a la línea de regresión ajustada. En cada observación los valores
actuales de Y es igual al valor ajustado mas el valor residual. Esta es una descomposición operativa que
usaremos para fines prácticos.
18
Criterio Mínimos Cuadrados
Ordinarios
Métodos de estimación
 Modelo de regresión lineal simple

Criterio Mínimos Cuadrados:

Minimizar SRC (suma residual de cuadrados), donde

n
SRC   ei2  e12  ...  en2
i 1

Para empezar, vamos a dibujar la línea de regresión ajustada con el fin de minimizar la suma residual de
cuadrados SRC. Esto se denomina como el criterio Mínimos cuadrados.

19
 Modelo de regresión lineal simple

Criterio Minimos cuadrados

Minimizar SRC (suma residual de cuadrados), donde

n
SRC   ei2  e12  ...  en2
i 1

¿Porqué no minimizamos?
n

e
i 1
i  e1  ...  en

¿Porque la suma de los residuos al cuadrado? ¿Porque no solo minimizamos la suma de los residuos?

20
 Modelo de regresión lineal simple

Y P4

Y P1

P3
P2

X1 X2 X3 X4 X

Puedes conseguir al parecer un ajuste perfecto dibujando una línea horizontal que pasa por el valor
promedio de Y. La suma de los residuos sería cero.

21
 Modelo de regresión lineal simple

Y P4

Y P1

P3
P2

X1 X2 X3 X4 X

Podemos prevenir residuos negativos cancelando los residuos positivos. Y una forma de hacer esto es
usando los residuos al cuadrado.

22
 Modelo de regresión lineal simple

Y P4

Y P1

P3
P2

X1 X2 X3 X4 X

Por supuesto hay otras formas de lidiar con el problema. El criterio mínimos cuadrados tiene como
atractivo que los estimadores derivados con el, tienen propiedades deseables, siempre y cuando se
cumplan ciertas condiciones.
23
 Modelo de regresión lineal simple

Y P4

Y P1

P3
P2

X1 X2 X3 X4 X

En la siguiente dispositiva, veremos como se utiliza el criterio mínimos cuadrados para calcular los
coeficientes de la recta ajustada.

24