M.

Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 1/1

 MODELOS DE REGRESIÓN LINEAL
II-Regresión Lineal Simple

M. Mar Fenoy

Dpto. Estadística e I.O.

Tema 2

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 1/1

Introducción

Contamos con dos variables:

La variable respuesta Y , que tratamos de relacionar con,
una única variable regresora o independiente X, mediante el modelo
Y = β0 + β1 X + .
Donde β0 y β1 son parámetros desconocidos y  es una v.a. que se
denomina error aleatorio.

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 2/1

Introducción

Se dice que dos variables X e Y , siguen un modelo de regresión lineal

simple si se cumple las siguientes hipótesis:
Y = β0 + β1 X + .
 es una v.a. que verifica que E() = 0 y V () = σ 2 desconocida.
Y que para cada X = x se supone que los errores están incorrelados,
es decir, si consideramos x1 y x2 , Y1 = β0 + β1 x1 + 1 , y
Y2 = β0 + β1 x2 + 2 , se tiene que 1 y 2 son incorrelados.

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 3/1

Introducción

La variable regresora o independiente X es una variable que el

experimentador puede controlar.
La variable respuesta o dependiente Y es una variable aleatoria, pues
es función del error aleatorio  (v.a.).
Entonces tenemos:

E(Y /X = x) = β0 + β1 x
V (Y /X = x) = V (β0 + β1 x + ) = σ 2 .

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 4/1

Introducción

E(Y /X = x) es una función de X = x, mientras que V (Y /X = x)

no depende de X = x.
Como Y es una v.a. a través de , al ser sus valores incorrelados, para
cada X = x, entonces los valores de Y también serán incorrelados
para cada X = x.
Denominamos a β0 y β1 coeficientes de regresión.
β1 es la pendiente de la recta de regresión, y por tanto, proporciona el
cambio en la media de Y al producir un cambio de una unidad en X.
Si X puede tomar el valor 0, entonces β0 es la media de Y cuando
X = 0. Si el rango de X no incluye el valor 0, entonces β0 no tiene
interpretación práctica.

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 5/1

Estimación de parámetros

β0 y β1 son parámetros desconocidos, para su estimación utilizaremos la

muestra o datos observados. Supongamos que se han observado
(x1 , y1 ), · · · , (xn , yn ), n observaciones bidimensionales procedentes de
(X, Y ), utilizaremos el método de los mínimos cuadrados para obtener
los estimadores de β0 y β1 .

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 6/1

Estimación de parámetros

Si consideramos las distancias verticales, de las observaciones (xi , yi ), para

i = 1, · · · , n, a la recta teórica donde para cada xi , yi = β0 + β1 xi :

yi − (β0 + β1 xi ), i = 1, · · · , n.

Consideramos la suma de estas distancias elevadas al cuadrado, y para la

muestra (x1 , y1 ), · · · , (xn , yn ), es una función de β0 y β1 :
n
X
F (β0 , β1 ) = (yi − (β0 + β1 xi ))2 .
i=1

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 7/1

Estimación de parámetros

Para encontrar los estimadores de β0 y β1 minimizamos la función F

respecto de los dos parámetros (es conocido como el método de mínimos
cuadrados), es decir,
mı́n F (β0 , β1 ).
β0 ,β1

n
∂F X
= −2 (yi − (β0 + β1 xi )) = 0
∂β0
i=1
n
∂F X
= −2 xi (yi − (β0 + β1 xi )) = 0,
∂β1
i=1

obtenemos las llamadas ecuaciones normales del modelo.

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 8/1

Estimación de parámetros

Operando, llegamos a
 n n
 X X
y − nβ − β xi = 0



 i 0 1
i=1 i=1
n
X n
X n
X
x2i = 0




 x y
i i − β0 x i − β1
i=1 i=1 i=1

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 9/1

Estimación de parámetros

n n

 X X
nβ + β x = yi



 0 1 i
i=1 i=1
n
X n
X n
X
 2
 β0 xi + β1 xi = xi yi



i=1 i=1 i=1
De la primera ecuación obtenemos
βb0 = y − βb1 x,
que sustituyendo en la segunda ecuación anterior:
n
X n
X n
X
(y − βb1 x) xi + β 1 x2i = x i yi .
i=1 i=1 i=1

Operando en la expresión anterior, llegamos a que

Cov(X, Y )
βb1 = .
V (X)
M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 10 / 1
Estimación de parámetros

Si denotamos por

n
X
Sxy = (xi − x)(yi − y)
i=1
n
X
Sxx = (xi − x)2 ,
i=1

podríamos escribir
Sxy
βb1 = .
Sxx

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 11 / 1

Ejemplo

Supongamos que para fabricar un motor de un cohete necesitamos unir dos

tipos de propelente. Se sospecha que la resistencia a la rotura de la unión,
depende del número de semanas del lote de fabricación del propelente. Se
toman 20 observaciones de resistencia a la rotura en psi=pounds-force per
square inch, y de la semana del lote de propelente.
Tenemos x = 13, 3625, y = 2131, 3575. Además,
n Pn 2
X ( i=1 xi ) 71422,56
Sxx = x2i − = 4677,69 − = 1106, 56
n 20
i=1
n Pn Pn
X
i=1 xi i=1 yi 267, 25 · 42627, 15
Sxy = x i yi − = 528492, 64 −
n 20
i=1
= −41112, 65

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 12 / 1

Ejemplo

Así tenemos,
Sxy −41112, 65
βb1 = = = −37, 15
Sxx 1106, 56
βb0 = y − βb1 x = 2131, 3575 − (−37, 15)13, 3625 = 2627, 82

Y por tanto la recta de regresión muestral o estimada,

ybi = 2627, 82 − 37, 15xi ,

donde denotamos por ybi = βb0 + βb1 xi , al valor ajustado o predicción.

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 13 / 1

Ejemplo. Cuestiones

Se plantean algunas cuestiones:

1 ¿Cómo la ecuación anterior ajusta los datos?
2 ¿Es el modelo elegido útil para hacer estimaciones/predicciones?
3 ¿Hay algunas de las hipótesis del modelo que no se cumplen?. Si es
así, ¿cómo actuar?
Un importante papel para dilucidar las cuestiones anteriores la juegan los
residuos, que denotamos por ei = yi − ybi , y son la diferencia entre el valor
observado y el valor estimado, es decir, es un término de error.

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 14 / 1

Propiedades de los estimadores de mínimos cuadrados

1 βb0 , y βb1 son combinaciones lineales de las observaciones yi .

2 βb0 , y βb1 son estimadores insesgados de β0 y β1 respectivamente.
3 βb0 y βb1 no son incorrelados, en concreto se tiene que
x
Cov(βb0 , βb1 ) = −σ 2 .
Sxx
4 Las varianzas de los estimadores son:
σ2
 
1 x
V (βb1 ) = , V (βb0 ) = σ 2 + .
Sxx n Sxx

Veremos las demostraciones a estas propiedades en clase.

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 15 / 1

Propiedades derivadas del ajuste de mínimos cuadrados

n
X
1 ei = 0.
i=1
n
X n
X
2 xi = ybi , que se deduce de forma obvia de la propiedad previa,
i=1 i=1
y tenemos entonces que y − yb.
3 La recta de regresión pasa por el centro de gravedad o centroide
(x − y).
Xn
4 xi ei = 0.
i=1
n
X
5 ybi ei = 0.
i=1

Veremos las demostraciones a estas propiedades en clase.

M. Mar Fenoy (EIO) MODELOS DE REGRESIÓN LINEAL Tema 2 16 / 1