REGRESIN LINEAL SIMPLE

El anlisis de regresin es una tcnica estadstica para investigar la relacin

funcional entre dos o ms variables, ajustando algn modelo matemtico.
La regresin lineal simple utiliza una sola variable de regresin y el caso ms
sencillo es el modelo de lnea recta. Supngase que se tiene un conjunto de n
pares de observaciones (xi,yi), se busca encontrar una recta que describa de la
mejor manera cada uno de esos pares observados.

CP SI 24 y = 8.1185x - 6.6269
2
xi yi R = 0.7185
2.95 18.5 22
3.2 20 Variable respuest 20
3.4 21.1
3.6 22.4 18
3.2 21.2
2.85 15 16
3.1 18
2.85 18.8 14
3.05 15.7
2.7 14.4 12
2.75 15.5
3.1 17.2 10
3.15 19 2.6 2.7 2.8 2.9 3 3.1 3.2 3.3 3.4 3.5 3.6
2.95 17.2
2.75 16.8
Xi (variable independiente o regresiva)
45.6 270.8

Preparado por: Irene P. Valdez y Alfaro

 Se considera que la variable X es la variable
independiente o regresiva y se mide sin error,
mientras que Y es la variable respuesta para cada
valor especfico xi de X; y adems Y es una variable
aleatoria con alguna funcin de densidad para cada
nivel de X.

f (Y xi )

Y xi
yi
E (Y xi )
Preparado por: Irene P. Valdez y Alfaro
 Regresin Lineal Simple
yi = 0 + 1 xi + i
f (Y xi )

E (Y xi ) = 0 + 1 xi

x 1 xi xn
Si la recta de regresin es: Y = 0 + 1 X
Cada valor yi observado para un xi puede considerarse como el valor
esperado de Y dado xi ms un error:
Modelo lineal simple : yi = 0 + 1 xi + i
Los i se suponen errores aleatorios con distribucin normal,
media cero y varianza 2 ; 0 y 1 son constantes desconocidas
(parmetros del modelo de regresin)
Preparado por: Irene P. Valdez y Alfaro
 Mtodo de Mnimos Cuadrados
para obtener estimadores de 0 y 1
Consiste en determinar aquellos estimadores de 0 y 1 que
minimizan la suma de cuadrados de los errores i ; es decir,
los estimadores 0 y 1 de 0 y 1 respectivamente deben
ser tales que: n 2
i sea mnima.
i =1

Del modelo lineal simple: yi = 0 + 1 xi + i

de donde: i = yi 0 1 x
n 2 n
2
elevando al cuadrado: i = ( yi 0 1 x)
i =1 i =1

Preparado por: Irene P. Valdez y Alfaro

 Segn el mtodo de mnimos cuadrados, los
estimadores de 0 y 1 debe satisfacer las
ecuaciones: n n
n 2 yi = n 0 + 1 xi
( yi 0 1 x) = 0 Al derivar se obtiene un i =1 i =1
0 i =1 sistema de dos ecuaciones
n n n
denominadas ecuaciones 2
n 2 normales: 0 xi + 1 xi = xi yi
( yi 0 1 x) = 0 i =1 i =1 i =1
1 i =1

Cuya solucin es:

0 = y 1 x
n y n x
i i
n
i =1 i =1
xi yi
1 = i =1 n
2
x
n
i
n

x i i =1
2
i =1 n
Ahora, el modelo de regresin lineal simple ajustado
(o recta estimada) es:
0 y = + x
1
Preparado por: Irene P. Valdez y Alfaro
 Con respecto al numerador y denominador de B1 suelen expresarse
como Sxy y Sxx respectivamente:

n y n x
i i
n
i =1 i =1
xi yi S xy
1 = i =1 n 1 =
xn
i
2
S xx
n
2 i =1
xi
i =1 n
2
x
n
i
n
2
S xx = x i i =1
n
= (xi x )
2
Puede demostrarse que:
i =1 n i =1

y
n y n x
i i n
S xy = xi yi i =1 i =1 = ( xi x ) yi
n

i =1 n i =1
Preparado por: Irene P. Valdez y Alfaro
 Por otro lado puede demostrarse que los estimadores de 0 y 1 son
insesgados con varianzas:

1 x 2 2
V (0 ) = + 2
y V (1 ) = respectivamente.
n S xx S xx

Como 2 (la varianza de los errores i) es en general desconocida, para estimarla

definimos el residuo como: ei = yi y i y la suma de cuadrados del error
como: n n
SS E = ei2 SS E = ( yi y i )
2
i =1 i =1

que al sustituir y i tambin puede expresarse como: SS E = S yy 1S xy

n
donde: S yy = ( yi y )
2

i =1
n
( yi y i )
2

i =1 SS E E (MS ) = 2
2 = MS E
Sea MS E = = Entonces: E
n2 n2
Preparado por: Irene P. Valdez y Alfaro
 Con lo anterior, las varianzas estimadas de 0 y 1
son respectivamente:
1 x 2 MS E
V (0 ) = MS E + y V (1 ) =
n S xx S xx
Adems, si se cumplen los supuestos de que los i se distribuyen
normalemte con media cero y varianza 2, entonces, los estadsticos
0 0 1 1
T= y T=
1 x 2 MS E
MS E +
n S xx S xx

tienen cada uno distribucin t de Student con n-2 grados de libertad.

Lo que permite efectuar pruebas de hiptes y calcular intervalos

de confianza sobre los parmetros de regresin 0 y 1 .

Preparado por: Irene P. Valdez y Alfaro

 H 0 : 1 = 0
Un caso de particular inters es probar la hiptesis:
H1 : 1 0

Ya que si la pendiente es igual cero, entonces puede significar o que la

variacin de X no influye en la variacin de Y, o que no hay regresin
lineal entre X y Y.

Por otro lado, si la pendiente es diferente de cero, entonces existir algn

grado de asociacin lineal entre las dos variables, es decir, la variabilidad
de X explica en cierta forma la variabiliad de Y (aunque no implica que no
pueda obtenerse un mejor ajuste con algn polinomio de mayor grado en
X).

Nota: si se utilizara en lugar de una recta, una curva con grado mayor a 1
en X pero grado 1 en los coeficientes de X, la regresin sigue siendo lineal,
o+
ya que es lineal en los parmetros de regresin p.ej. Y= 1x+2x2

Preparado por: Irene P. Valdez y Alfaro

 Estimacin de intervalos de confianza en torno a la lnea de regresin:
BANDAS DE CONFIANZA

Recta estimada
de regresin

Para un punto especfico x0

y 0 = E (Y x0 ) = 0 + 1 x0

x 1 xi x0 xn

Preparado por: Irene P. Valdez y Alfaro

 Estimacin de la respuesta media para un x0 especfico:
y 0 = y 0 = E (Y x0 ) = 0 + 1 x0

1 (xo x ) 2 1 (xo x )2
V ( y 0 ) = +
2
V ( y 0 ) = MS E +
n S xx
n S xx
y 0 y 0
y 0 tiene distribucin normal, por lo que:
V ( yo )
tiene distribucin T de Student con n-2 grados de libertad, por lo
que los lmites de confianza superior e inferior para la respuesta
media dado x0 estn dados por: y 0 t / 2, n 2 V ( yo )

Graficando los limites de confianza superior e inferior de y 0 para cada punto xi de

X pueden dibujarse las bandas de confianza para la recta de regresin.

Puede observarse que la amplitud del intervalo de confianza es mnima cuando x0 = x

mientras que es mayor en los extremos de los valores observados de X.
Preparado por: Irene P. Valdez y Alfaro
 Prediccin de nuevas observaciones

Ntese que y 0 es la respuesta media para los valores de xi seleccionados para

encontrar la recta de regresin; sin embargo, frecuentemente es de inters
predecir la respuesta futura para un xa dado seleccionado posteriormente.

Sea Ya la observacin futura en x = xa ., ; Ya es una variable aleatoria con

varianza 2 y por otro lado, la varianza de y a = 0 + 1 xa es V (y a ) = MSE 1 + 1n + (xaS x )
2

xx

Preparado por: Irene P. Valdez y Alfaro