Año

2012
1 Modelo de regresión lineal

La relación matemática determinística más simple entre dos variables x e y,

es una relación lineal y = 0 + 1 x. El conjunto de pares (x; y) que veri…can
esta relación, determinan una recta con pendiente 1 que corta al eje y en
0:
En esta sección vamos a estudiar una relación lineal no determinística
entre dos variables.

Ejemplo 1.1 Consideremos los siguientes datos que muestran la densidad

óptica de cierta substancia (y) a diferentes niveles de concentración (x):
x 80 120 160 200 240 280 320 360 400 440 480 520
y .08 .12 .18 .21 .28 .28 .38 .40 .42 .50 .52 .60
Si gra…camos estos valores

vemos que los puntos parecen estar bastante próximos a una recta, y podemos
aceptar que la relación entre las variables es “aproximadamente lineal”. Podemos

2
pensar que para cada valor de x, el valor de y es función lineal de x más un
término aleatorio.

Para un conjunto de observaciones (x1 ; y1 ); (x2 ; y2 ); :::; (xn ; yn ) el mo-

delo de regresión lineal simple asume que las yi son valores observados
de variables aleatorias Yi relacionadas con las xi de la siguiente forma:

Yi = 0 + 1 xi + i (1)

donde 0 y 1 son parámetros …jos y los i son variables aleatorias inde-

pendientes entre si, que cumplen
2
E( i ) = 0 ; var( i ) = (2)

Esto signi…ca que para cada valor de la variable independiente o explica-

tiva xi , la variable dependiente o variable respuesta Yi ; es una variable aleato-
ria independiente de las otras Yj , tal que:
2
E(Yi ) = 0 + 1 xi ; var(Yi ) = :

Conocer la ecuación (1) y 2 ; nos permitiría predecir, con un error de

predicción que depende de 2 , el valor que puede tomar la variable Y , para
determinado valor de x. Como en el ejemplo planteado, se tiene un conjunto
de observaciones (x1 ; y1 ); (x2 ; y2 ); :::; (xn ; yn ), que parecen adaptarse al mo-
delo lineal y en base a esos valores se deben estimar los parámetros descono-
cidos 0 , 1 y 2 : En el ejemplo xi son las concentraciones, yi las densidades
ópticas, y n = 12:
Para estimar los parámetros 0 y 1 usaremos el método de mínimos
cuadrados.
Usaremos la siguiente notación:
b0 es el estimador de 0 , b1 es el estimador de 1
ybi = b0 + b1 xi es el valor sobre la recta estimada correspondiente a xi
Sean
ri = yi ybi = yi b 0 + b 1 xi (3)

(los residuos). Entonces el método consiste en hallar b0 ; b1 tales que

X
n X
n
2
Srr = ri2 = yi b 0 + b 1 xi = min :
i=1 i=1

3
 Calculando las derivadas respecto de b0 y de b1 , e igualando ambas a
cero, se obtiene un sistema de dos ecuaciones, al resolver el mismo se llega a
la siguiente solución.

b1 = Sxy ; b0 = y xb1
Sxx
donde x e y son las medias de las xi y las yi ; y:
X
n
2
X
n
Sxx = (xi x) ; Syy = (yi y)2 ;
i=1 i=1

y
X
n X
n
Sxy = (xi x) (yi y) = xi yi nx y:
i=1 i=1

La recta obtenida se llama recta de regresión estimada de y en x: En

nuestro ejemplo,

Sxx = 228800 , Syy = 0:30189 , Sxy = 261:4

y
b = 0:0119 ; b1 = 0:0011 :
0

de modo que la recta de regresión estimada será:

yb = 0:0119 + 0:0011x

La desviación se estima con sr de…nido como

Srr X n
2
s2r = ; con Srr = ri2 = Syy Sxx b1 :
n 2 i=1

En nuestro ejemplo, sr = 0:0180:

El coe…ciente de determinación y el coe…ciente de correlación

Una medida de la variablidad total de las observaciones yi es la expresión
que ya vimos Syy ; en nuestro ejemplo Syy = 0:30189

4
 La suma de cuadrados de los residuos: Srr puede considerarse como una
medida de la variación de las yi que no es explicada por el modelo, obviamente
Srr Syy . Entonces el cociente Srr =Syy sería la proporción de la variabilidad
total que no es explicada por el modelo, y 0 Srr =Syy 1
Es conveniente de…nir un número que represente la proporción de la vari-
abilidad total de las yi que si es explicada por el modelo, este número es el
coe…ciente de determinación:
Srr
r2 = 1
Syy

es evidente que también cumple: 0 r2 1, es una medida de la bondad

2
del ajuste del modelo, un valor de r = 1, indicaría un ajuste perfecto.
En nuestro ejemplo r2 = 1 0:01075 = 0:98925, esto signi…ca el modelo
de regresión lineal simple explica el 98:9% de la variabilidad total de las
observaciones yi

El número
Sxy
R= p
Sxx Syy
se llama coe…ciente de correlación entre x e y. Está entre -1 y 1; si jRj = 1;
los puntos están exactamente sobre una recta, cuya pendiente tiene el signo
de R: También es una medida de la bondad de un ajuste lineal. En nuestro
ejemplo, R = 0:9946:

En un modelo de regresión lineal simple, el coe…ciente de determi-

nación es el cuadrado del coe…ciente de corelación.

1.1 Intervalos de con…anza para los parámetros

Se puede probar que los estimadores b0 y b1 son insesgados, esto quiere decir
que:
E(b0 ) = 0 ; E(b1 ) = 1
y también puede probarse que:

1 x2 2
var(b0 ) = 2
+ ; var(b1 ) = ;
n Sxx Sxx

5
 Entonces bajo las suposiciones del modelo (2) podemos decir que b0 y
b son estimadores insesgados de los parámetros
1 0 y 1 y que tienen las
varianzas calculadas.
Pero si podemos suponer que los i tienen distribución normal, es decir
que el modelo ahora sería:
Yi = 0 + 1 xi + i

donde
2
i s N(0; ) e independientes (4)
Entonces, también las variables aleatorias Yi tienen distribución normal,
y los estadísticos:
b b
T0 = q0 0
y T1 = 1
p 1
sr 1
+ x2 sr = Sxx
n Sxx

tiene distribución de Student con n 2 grados de libertad. Estos estadísiti-

cos nos sirven para construir intervalos de con…anza para 0 y 1 respecti-
vamente, con el mismo procedimiento que ya usamos anteriormente.
A partir de T0 ; planteamos
b
P( t =2 q0 0
t =2 ) =1
1 x2
sr n
+ Sxx

donde t =2 se busca en la tabla de Student para n 2 grados de libertad, y

…nalmente se llega al intervalo
0 s s 1
2 2
@b0 t =2 sr 1 + x ; b0 + t =2 sr 1 + x A
n Sxx n Sxx

A partir de T1 , planteamos
b1
P( t =2 p 1 t =2 ) =1
sr = Sxx
donde también t =2 se busca en la tabla de Student para n 2 grados de
libertad, y …nalmente se llega al intervalo
p p
b1 t =2 sr = Sxx ; b1 + t =2 sr = Sxx

6
 Para los datos del ejemplo, si elegimos
q 1 q para 10 grados de
= 0:95,
libertad t0:025 = 2:228 , dt(b0 ) = sr n + Sxx = 0:0180 12
1 x 2 1 3002
+ 228800 = 0:0124
y el intervalo para 0

( 0:0119
0:0276; 0:0119 0:0276) = ( 0:0395; 0:0157)
p p
de la misma manera dt(b1 ) = sr = Sxx = 0:0180= 228800 = 0:000038 y el
intervalo para 1

(0:0011 0:0000847; 0:0011 + 0:0000847) = (0:00101; 0:00118)

1.1.1 Algunos comentarios sobre la estimación de los parámetros

q
2
La longitud del intervalo para 0 es 2t =2 sr n1 + Sxxx ; de modo que
si x es relativamente grande, la estimación de 0 será poco precisa.
Generalmente la estimación de 0 no es tan importante como la de 1 :
p
La longitud del intervalo para 1 es 2t =2 sr = Sxx ; de modo que la
precisión de la estimación para 1 , puede mejorarse eligiendo los valores
de las xi más dispersas para que Sxx sea más grande.

podemos a…rmar que la pendiente es mayor que 0.01 con un nivel de

signi…cación = 0:025

1.2 Intervalos de con…anza para valores medios de la

respuesta
Continuando con el ejemplo (1.1), consideremos una concentración dada,
por ejemplo x0 = 260; y sea Y0 la respuesta correspondiente. Si se cumple el
modelo (2), la respuesta media correspondiente a x0 es

EY0 = 0 + 1 x0 :

Si se quiere estimar EY0 = 0 + 1 x0 ; parece lógico estimarla con el “valor

ajustado”
yb0 = b0 + b1 x0 :

7
Si deseamos construir un intervalo de con…anza para EY0 deberemos encon-
trar el estadístico adecuado, es facil ver que

y0 = E(b0 + b1 x0 ) =
Eb 0 + 1 x0

también puede demostrarse que

!
1 (x0 x)2
y0 = var(b0 + b1 x0 ) =
varb 2
+
n Sxx

y también se puede probar que, cuando las Yi tienen distribución normal,

el estadístico
yb0 ( + 1 x0 )
T = q 0 2
sr n1 + (x0Sxxx)
tiene distribución de Student con n 2 grados de libertad. Entonces, si-
guiendo el mismo procedimiento de siempre, obtenemos el siguiente intervalo
de con…anza de nivel 1 ; para EY0 ; es decir la media de la respuesta Y
para un valor dado x0
0 s s 1
2 2
@yb0 t =2 sr 1 + (x0 x) ; yb0 + t =2 sr 1 + (x0 x) A (5)
n Sxx n Sxx

En nuestro ejemplo,
r
1 (260 300)2
yb0 = 0:2741; + = 0:30054; t0:025 = 2:228
12 228800
y el intervalo de 95% de con…anza para EY0 resulta

(0:2620; 0:2861)

esto signi…ca que tenemos un 95% de con…anza de que este intervalo con-
tenega el valor verdadero (desconocido) de EY0 ; que es el valor medio de las
respuestas correspondientes a la concentración x0 :
Si observamos la forma del intervalo (5), vemos que la longitud es:
s
1 (x0 x)2
L = 2t =2 sr +
n Sxx

8
esta longitud es mínima cuando x0 es igual a x, y aumenta cuando x0 se aleja
de x . En la siguiente …gura se gra…ca la recta de regresión estimada, y dos
lineas curvas que representan los límites de los intervalos de con…anza para
la media de Y , dados los posibles valores de x. Se puede ver como varía la
longitud de los intervalos de con…anza.

Importante: Generalmente, el modelo (2) es una aproximación, válida

en el mejor de los casos dentro del rango de las “x”usadas en el experimento,
no tenemos información para hacer ninguna inferencia fuera de ese rango de
valores, por lo que no es nada con…able “extrapolar”, o sea, aplicar este
procedimiento para x0 fuera del rango de las “x”observadas.

1.3 Intervalos de predicción para valores de la variable

respuesta
Consideremos ahora la siguiente situación, queremos predecir el valor que
puede tomar la respuesta, cuando la concentración es x0 = 260. Sabemos

9
que y0 = 0 + 1 x0 + , y parece lógico predecir ese valor con el valor sobre
la recta estimada, o “valor ajustado”

yb0 = b0 + b1 x0

este es el mismo valor que usamos para estimar la EY0 . Pero si pretendemos
construir un intervalo de predicción, las cosas cambian un poco. El error
de predicción es la diferencia entre el valor que puede tomar una variable
aleatoria Y0 y el valor ajustado yb0 ; podemos ver que el valor esperado del
error de predicción es:
E (Y0 yb0 ) = 0
y la varianza del error de predicción es:

2 1 (x0 x)2
var(Y0 yb0 ) = var(Y0 ) + var(b
y0 ) = 1+ +
n Sxx

de modo que para construir un intervalo de predicción para Y0 , usaremos el

estadístico
Y0 yb0
T = q 2
sr 1 + n1 + (x0Sxxx)
que también tiene distribución de Student con n-2 grados de libertad. Y el
intervalo de predicción para y0 es:
0 s s 1
2 2
@yb0 t =2 sr 1 + 1 + (x0 x) ; yb0 + t =2 sr 1 + 1 + (x0 x) A (6)
n Sxx n Sxx

En nuestro ejemplo:
r
1 (260 300)2
yb0 = 0:2741; 1+ + = 1:04419; t0:025 = 2:228
12 228800
y el intervalo de predicción es:

(0:2322; 0:3160)

esto signi…ca que tenemos un 95% de con…anza de que ese intervalo contenga
a la posible respuesta y0 correspondiente a una concentración x0 = 260.
Vemos que la longitud de este intervalo de predicción para y0 es mayor que

10
la del intervalo de con…anza para EY0 que construimos antes ( para el mismo
x0 = 260 ). Esto es lógico porque para predecir el valor que tome la variable
aleatoria tengo más incerteza que para estimar su media. En general vemos
que la longitud de (6) es
s
1 (x0 x)2
L = 2t =2 sr 1 + +
n Sxx

vale lo mismo que dijimos para los intervalos de con…anza, la longitud es

mínima cuando x0 es igual a x.

11
 Práctica 6

1. Suponga que, en cierto proceso químico, el tiempo de reacción Y (en

horas) está relacionado con la temperatura x (o F ) de la cámara en la
que tiene lugar la reacción, según el modelo de regresión lineal Y =
5:00 0:01x + donde s N(0; 0:0752 ) (estamos considerando que esa
no es una estimación sino la verdadera recta de regresión)

(a) ¿Cuál es el cambio esperado en tiempo de reacción para un au-

mento de 1o F en temperatura? ¿Y para un aumento de 10o F ?
(b) ¿Cuál es la distribución del tiempo de reacción para una temper-
atura de 250o F ?
(c) ¿Cuál es la probabilidad de que el tiempo de reacción esté entre
2:4 y 2:5 horas?
(d) Suponga que se hacen 5 experimentos independientes con tempe-
ratura de reacción de 250o F . ¿Cuál es la probabilidad de que los
5 tiempos de reacción estén entre 2:4 y 2:5 horas?

2. Dado un modelo de regresión lineal simple, sean b0 y b1 los estimadores

de mínimos cuadrados.

(a) Demostrar que son insesgados para los parámetros 0 y 1

(b) Demostrar que var(b ) =

2
1 Sxx

(c) Demostrar que var(b0 ) = 2 1

n
+ x2
Sxx

3. Los siguientes valores provienen de un estudio sobre calidad del aire en

una ciudad; son las lecturas sobre el volumen de tránsito (en número de
automóviles por hora) y la concentración de monóxido de carbono, en
un punto de muestreo. SXX = 134283:33; SY Y = 38:2373; SXY =
2232:33
Vol 100 110 125 150 175 190 200 225
CO 8.8 9.0 9.5 10.0 10.5 10.5 10.5 10.6

Vol 250 275 300 325 350 375 400

CO 11.0 12.1 12.1 12.5 13.0 13.2 14.5

12
 (a) Gra…que los puntos, ¿parece razonable el modelo de regresión li-
neal?
(b) Estime la ecuación de la recta y utilícela para dar una estimación
puntual de la concentración de monóxido de carbono, correspon-
diente a un volumen de tránsito de 180 automóviles por hora y
calcule el residuo correspondiente.
(c) Estime la desviación estándar de observaciones alrededor de la
recta verdadera.
(d) ¿Qué porcentaje de la variación muestral en concentración de
monóxido de carbono puede atribuirse al modelo?

4. En un experimento para estudiar una técnica reactiva de pulverización,

se registraron los siguientes valores de rapidez de depósito (y) en función
del voltaje (x). SXX = 208000; SY Y = 132:012; SXY = 5216

x 400 600 800 800 1000

y 44:0 39:9 35:0 33:8 29:1

(a) Gra…que los puntos para ver si se pueden ajustar por un modelo
de regresión lineal
(b) Enuncie las hipótesis del modelo y estime los parámetros 0 y 1

(c) Construya un intervalo de con…anza para la pendiente ¿Es nece-

saria alguna hipótesis adicional al modelo planteado en (a)?

5. Los siguientes datos experimentales corresponden a la presión de gas

extraído (x en micrones) y el tiempo de extracción (y en minutos):
SXX = 176852:5; SY Y = 8:276; SXY = 1202:7

x 40 130 155 160 260 275 325 370 420 480

y 2.5 3.0 3.1 3.3 3.7 4.1 4.3 4.8 5.0 5.4

(a) Enuncie las hipótesis de un modelo lineal y estime la recta de

regresión:
(b) ¿Qué porcentaje de la variación muestral en los tiempos de ex-
tracción puede atribuirse al modelo de regresión?

13
 (c) En los casos en que sea posible, construya intervalos de 90% de
con…anza para el tiempo medio de extracción correspondiente a
las presiones 20, 60, 200 y 540. Compare las longitudes de los
intervalos
(d) Construya, cuando sea posible, intervalos de predicción para los
tiempos de extracción correspondientes a los valores de presión
anteriores. Compare las longitudes de estos intervalos con los
anteriores.
6. Se realizó un experimento con el …n de estudiar el efecto de una nueva
droga en bajar la frecuencia cardiaca. La variable independiente es la
dosis (mg) de la droga y la dependiente es la diferencia de la frecuencia
cardiaca antes y después de la administración del medicamento (lati-
dos/min). Se puede suponer que para cada dosis, la distribución de la
reducción de la frecuencia cardíaca es normal y la varianza es la misma
para cualquier dosis. Los siguientes datos son los valores observados en
13 ratas de laboratorio: SXX = 11:375; SY Y = 201:0769; SXY = 45
dosis 0.50 0.75 1.00 1.25 1.50 1.75 2.00
reduc 10 9 13 12 14 12 15

dosis 2.25 2.50 2.75 3.00 3.25 3.50

reduc 18 17 21 18 20 21

(a) Plantee el modelo correspondiente y estime los parámetros.

(b) Si se va a hacer una nueva prueba con una presión de 18 kg=mm2 ,
(c) Estimar mediante un intervalo del 95%, la media de la disminución
de la frecuencia cardíaca para animales a los que se administra una
dosis de 2 mg; ¿y si se adminitra una dosis de 4 mg?
(d) Construya un intervalo del mismo nivel para predecir cuál será la
disminución en la freciuencia cardíaca en un animal al que se le
administra una dosis de 2 mg.
7. Los siguientes datos provienen de un estudio realizado para hallar la
relación entre la presión aplicada (en kg=mm2 ) y el tiempo de fractura
(en hs) para cierto tipo de acero.
presión 2.5 5 10 15 17.5 20 25 30 35 40
tiempo 63 38 55 61 62 37 38 45 46 19

14
(a) Gra…que los puntos. Enuncie un modelo lineal y estime la recta
de regresión.
(b) ¿Qué porcentaje en la variación de los tiempos de ruptura puede
atribuirse a la relación lineal con la presión aplicada?
(c) Si se va a hacer una nueva prueba con una presión de 18 kg=mm2 ,
estime el tiempo medio de ruptura del acero mediante un intervalo
de con…anza
(d) Construya un intervalo para predecir el tiempo de ruptura de un
muestra de acero a la que se aplica esa presión.

15