Estadistica Capitulo10 Regresión Lineal Simple

ESTADÍSTICA Y PROBABILIDAD
PARA INGENIEROS
Paralelo 002
CAPÍTULO 10: REGRESIÓN LINEAL SIMPLE
Profesora: Eva María Mera Intriago
Escuela Superior Politécnica del Litoral

“Impulsando la sociedad del conocimiento”
Instituto de Ciencias Matemáticas Guayaquil, enero de 2011
Regresión Lineal
• Poner una variable cuantitativa en términos de otra

cuantitativa.
• Supongamos que se observa los valores que toma
una variable Y condicionada a los valores que toma
otra X. Y X
Y1 X1
Y2 X2
. .
. .
. .
Yn Xn
• Deseamos encontrar una función g que explique a Y

en términos de X con la información dada.
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 2
…viene Regresión Lineal
Y = g(X1 , X2 , … , Xp)
Y = g(X1 , X2 , … , Xp) + i
Supuestos:
E(Y) = g(X1 , X2 , … , Xp) + 0
E(i   
E(Y) = g(X1 , X2 , … , Xp)
var(i   
X no es variable aleatoria, es una variable observable que es fijada
en n valores según las necesidades del investigador.
“ei es una Variable Aleatoria que se ve influenciada por el
observador, por el instrumento de medida, por el medio ambiente,
etc.”
Tenemos una variable de explicación

Y = g(x) + i E(i   

var(i   
cov(i   j    ; i  j
Y
Y X Necesitamos encontrar y = 0 + 1 x
Y1 X1 una función que explique
Y2 X2 Y en términos de X.
. .
. .
. .
Yn X n X
• El modelo es lineal para los betas.
Yi = b0 + b1Xi + i
• X no es variable aleatoria.
• “ei es una Variable Aleatoria por lo tanto Yi es
una variable aleatoria.
• Y se denomina variable de respuesta o variable
a ser explicada o pronosticada.
• X se denomina variable de explicación.
• Dado el Modelo Condicional, vamos a trabajar bajo los
siguientes supuestos:
• E[Yi | X = xi ]= b0 + b1Xi
• E(i) = 0; var(j) = 2 ; cov(i , j) = 0; i  j
• E[Yi | X = xi ] es también denominado Función de Respuesta o Parte
Sistemática o Determinística
Y del modelo. Con cov( ,  ) = 0; i  j se i j
busca plantear
y = 0 + 1 x independencia lineal
entre i , j ;i  j ; sobre
E[Y | X = x1 ]= 0 + 1 x1 todo cuando se suponga
cierta distribución de
E[Y| X = x2 ] = 0 + 1 x2 probabilidad para el error
X
x1 x2
Los valores b0 , b1 , 2 son constantes desconocidas

pero estadísticamente estimables.
• El hecho de que 2 sea constante durante todo el
proceso hace que el modelo sea Homocedástico,
esto es de variabilidad constante.
Yi = b0 + b1Xi + i
• El Problema estadístico que se plantea es el de

establecer conclusiones acerca de la relación entre las
variables, inferir acerca de b0 , b1 , esto es, que
realmente existen valores para la intersección b0 , y para
la pendiente b1 ; debemos estimarlos estadísticamente y
cómo Variables Aleatorias que son estos Estimadores,
determinar sus Distribuciones y Parámetros.
• Estimar b0 , b1 , implica encontrar una recta cuya
ŷ = ˆ + βˆ X = b + b x
β
ecuación es: i 0 1 i 0 1 i
• Donde ŷi es un valor que predice a Yi

ŷi se calcula utilizando los datos
Yi se observa una vez que se fija X i
Yi = b0 + b1Xi + i
No conocemos b0 y b1 Yi se observa
Los estimamos: ŷi se calcula
b0 = ̂0
b1 = ̂1 ŷi es un valor que predice a Yi
ŷi = βˆ 0 + βˆ 1X i = b 0 + b1x i
Una vez que fija X = xi

ŷi
La diferencia (Yi- ) estima el valor del error i, en otras palabras
εˆ i = Yi  yˆ i = ei
Hemos establecido que la Relación
Estadística que explica a Y en términos de X
se da a través de la expresión:
• Yi = b0 + b1Xi + i
• Haciendo i que el valor Observado Yi de Y sea una Variable
Aleatoria de donde
• mYi =E[Yi ] = E[ b0 + b1Xi + i ]= E[Y | X = xi ]
El valor esperado de una
• =E[b0] + E[b1Xi ] + E[i ]
constante es la misma constantes
• = b0 + b1Xi y además el E[i]=0
• Var[Yi] = 2Y=E[Yi- E(Yi)]2
i
• =Var[(b0 + b1Xi + i ) - (b0 + b1Xi )] 2

• =E[i -0] 2
• = E[i –E(i )] 2
• =Var(i )=2
Si suponemos que ei ~ N(0,s2), siendo s2 constante esto implica que
Yi ~N( b0 + b1Xi, s2)
El resultado anterior es conocido como
Teorema de Gauss-Markov y que se ilustra
en la siguientes Figura
E[Yi ] = b0 + b1Xi
var(Yi) =Var(ei )=2
• ei ~ N(0,s2); siendo s2 constante esto
implica que Yi ~N( b0 + b1Xi, s2)
Y Y
Esperamos
que la c y = 0 + 1 x c y = 0 + 1 x
probabilida d d
d de leer Y
en el b b
a a
segmento
ab sea el X X
área bajo la X1 X 1
curva Y1 puede
Estadística para Ingenierías, tomar
Capítulo cualquier
10 y 11: Regresión valory Múltiple
Lineal Simple real puesto que el soporte de una distribución 11
Guayaquil, Enero de 2011
Lo mejor es que la varianza sea pequeña porque

tendremos mayor probabilidad de leer el
verdadero valor de Y.
Yi  N(b0 + b1Xi , 2)
Seguimos con la Estimación de 0 y 1

b0 ˆ 0 , b1 ˆ1 , yˆ i  ˆ 0 ˆ1Xi  i , yˆ 1  b0  b1Xi  i
E(y | X = Xi) = 0 + 1 Xi
E(i) = 0
var(j) = 2
cov(i , j) = 0; i  j
¿Con qué criterio?
Yi  yˆ i  ei  ˆi
n 2
Q =  (Yi  yˆ i )
i =1
n 2
Q =  (ei )
i =1
n 2
 (Yi  yˆ i )  0
i=1
• Queremos minimizar Q y utilizamos el Criterio de

Mínimos Cuadrados
Q = e12  e 22  ...  e n2
Q =  (Y i - (βˆ 0 +β1 Xi)) 2
n
i =1
n
Q =  (Yi - (b 0 + b1 x i )) 2
i =1
• A partir de la expresión cuadrática se obtiene la
estimación de b0 y b1
n
Q =  (Y i - (b 0 + b1 x i )) 2
Para minimizar
Q  Q i =1
 b 0  b1
 Q  2 n ( y - (b + b x ))(-1) = 0
b0  i 0 1 i
i =1
n
 2  ( y i - ( b 0 + b1 x i ))  0
i =1
 Q  2 n ( y - (b + b x ))(-x ) = 0
 b1  i 0 1 i i
i =1
n
 2  ( y i - ( b 0 + b1 x i )) x i = 0
i =1
n
 2  ( y i - ( b 0 + b1 x i ))  0
i =1
De esto es posible obtener lo que se conoce como las
ecuaciones normales
ab=0  a=0  b=0
n
 (Yi - b 0 - b1 x i ) = 0
i =1
n n
 Yi - nb 0 - b1  x i = 0
i =1 i =1
n n
 Yi  nb 0  b1  x i
i =1 i =1
n
 2  ( y i - (b 0 + b1 x i )) x i = 0
i =1
n
 x i (Yi - b 0 - b1 x i ) = 0
i =1
n n n 2
 x iYi - b 0  x i - b1  x = 0 i
i =1 i =1 i =1
n n n 2
 x iYi = b 0  x i + b1  x i
i =1 i =1 i =1
Y ŷ i
+ b 1x i
1 x b0
y = 0
+
ŷ i =
i e2
e3 en
2
e1
X X
Ecuaciones Normales
n n
 Yi  nb 0  b1  x i
i =1 i =1
n n n 2
 x iYi = b 0  x i + b1  x i
i =1 i =1 i =1
• Estas dos ecuaciones constituyen un sistema lineal de dos

ecuaciones en b0 y b1
n  n 
n x  Yi
 
   
 i   
 i=1

 b 
  i=1 








0
  





 n n 

 b 
  n 
 xi x  x iY
 2  
 
 1   
 i   i
 i=1 i=1   i=1 
Ejemplo
A seis clientes del servicio de cajeros automáticos de un banco se les
pide califiquen la calidad de tal servicio en una escala de cero a veinte;
para el efecto se escogen los clientes de acuerdo al número de años
que han estado relacionados con el banco que ofrece el servicio. Se
selecciona un cliente por cada año de “antigüedad”, mínimo un año y
máximo seis. Los resultados se muestran a continuación.
Xi (Antigüedad en años) 1 2 3 4 5 6
Yi (Calificación) 4.8 7.3 8.4 11.0 13.1 15.2
Determinar los estimadores de Mínimos Cuadrados para un modelo

de Regresión Lineal Simple. Notamos que Y i y Xi se observan y con los
estimadores de Mínimos Cuadrados calculamos ŷi
Regresión Lineal
Regresión Lineal Simple

Gráfico de Dispersión (Antigüedad vs. Calificación)
VER MINITAB
Ecuaciones Normales
n n
 Y i  nb 0  b1  x i
i =1 i =1
n n n 2
 x iY i = b 0  x i + b1  x i
i =1 i =1 i =1
Xi Yi n  n 
n x  Yi
 
   
Antigüedad Calificación  i   
 i=1

 b 
  i=1 
1 4.8 







0







2 7.3  n n 

 b 
  n 
 2  
3 8.4    1   
 i   i
 i=1 i=1   i=1 
4 11
5 13.1 6
6 15.2 x
i 1
i  1  2  3  4  5  6  21
6
y
i 1
i  4.8  7.3  8.4  11  13.1  15.2  59.8
6
x y
i 1
i i  1(4.8)  2(7.3)  ...  6(15.2)  245.3
n
 i  1  4  9  16  25  36  91
x 2
i 1
n  n 
n x  Yi
 
   
6 21 b 0
 i     
 i=1

b 
 i=1   
59 . 8
   

   

     
 
 0    
 
 
   
       
21 91 b1
 
 n n 

 b 
  n   
245 . 3
   
 2 
 1         
   
 i   i
 i=1 i=1   i=1 
Resultando entonces que las Ecuaciones Normales son:
59.8 = 6b0 + 21b1

245.3 = 21b0 + 91b1
• Al resolver el sistema lineal de dos ecuaciones
con dos incógnitas encontramos que:
b0 = 2.7667; y,
b1 = 2.05714
• Por lo que la Ecuación de Regresión para los

datos propuestos es:
yˆ i  2.7667  2.05714 xi
Regresión Lineal Simple
Estimación de Intersección b0 y Pendiente b1
yˆ i  2.7667  2.05714 xi
2.05714
• Si quisiéramos estimar el valor de la calificación Y
que daría un cliente al servicio, cuando éste tiene X
= 1.5 años de antigüedad, lo haríamos de la
siguiente manera:
• YX= 1.5 = 2.7667 + 2.0571(1.5) = 5.85 sobre 20
• Mientras que un cliente con cinco años de
antigüedad se estima calificaría al servicio con la
nota
• Y | X = 5 = 2.7667 + 2.0571(5) = 13.05 sobre 20
• En definitiva, a medida que se incrementa la
antigüedad del cliente, se incrementa también la
calificación que da al servicio que el banco le ofrece.
El incremento es de 2.05714 puntos por año. La
antigüedad haría que con el paso de los años, el
cliente considere mejor a “su” banco.
Yi = b0 + b1Xi + i
i  N(0,  ) 2
E(i   

var(i   
cov(i   j    ; i  j
n Yi se observa
SCT =  (Y - y)
i=1
i
2
ŷi se calcula
Contiene el total de la variabilidad de la muestra.
Esta expresión no cambia con el modelo.
n n
 (Yi - y)
i=1
2
  i
(Y
i=1
- y  ˆ
y i - ˆ
y i ) 2
n
  i i
((Y
i=1
- ˆ
y )  ( ˆ
y i - y )) 2
n n
0 n
  (Y - yˆ )
i=1
i i
2
 2 (Yi - yˆ i ) ( yˆ i - y )   (yˆ i - y) 2
i=1 i=1
n n
  (Y - yˆ )
i=1
i i
2
  (yˆ
i=1
i - y) 2
SC Error SC Regresión
SC Re gresion
R  Coeficiente de det er min acion 
2
SC Total
ó
ó
SC Error
0  R 12
1
SC Total
Si al coeficiente de determinación lo multiplicamos por 100
(R2 x 100), tenemos la Potencia de Explicación del Modelo, la cual
mide cuán bueno es el modelo. Si el modelo es perfecto la Potencia
de Explicación es 100%.
Coeficiente de Determinación Ajustado
2
2 (n - p)R
R Aj =
n -1
Nótese que la relación entre el Coeficiente de Correlación de X con ó

ó
Y y el Coeficiente de Determinación en este modelo, viene dada por
rxy   R 2
Téngase en cuenta que el Coeficiente de Correlación sí puede ser

negativo, debiendo escogerse su signo como positivo, si la relación
entre la Variable de Explicación y la Variable a ser Explicada es
creciente. Negativo si tal relación es decreciente.
…Regresión Lineal Tabla de Análisis de
Varianza
Fuentes de Grados de Sumas Cuadráticas Medias Estadístico de

Variación Libertad Cuadráticas Prueba F
n
  ŷ i - y  SCR
2
REGRESIÓN p-1
p 1
F* = MCR
MCE
i=1
n
ERROR
  yi - yˆ i  SCE
2
n-p
(Residuos) n p
i=1
n
 y - y
2
TOTAL n–1 i
i=1
F* tiene distribución F de Fisher con (p – 1) gl en el numerador y (n - p)
gl en el denominador.
s2 = varianza del error

σ̂ 2= Media Cuadrática del Error
Se puede probar que la MCE es un Estimador Insesgado de s2,

esto es:
 n (Yi - yˆ i ) 2   n ei2 
E(MCE) = E    = E    = σ 2
 i=1 n - 2   i=1 n - 2 
…viene Ejemplo Regresión Lineal
A seis clientes del servicio de cajeros automáticos de un banco se

les pide califiquen la calidad de tal servicio en una escala de cero
a veinte; para el efecto se escogen los clientes de acuerdo al
número de años que han estado relacionados con el banco que
ofrece el servicio. Se selecciona un cliente por cada año de
“antigüedad”, mínimo un año y máximo seis. Los resultados se
muestran a continuación.
Xi (Antigüedad en años) 1 2 3 4 5 6
Yi (Calificación) 4.8 7.3 8.4 11.0 13.1 15.2
Construya la Tabla ANOVA y calcule el coeficiente de

determinación y el coeficiente de determinación ajustado.
yˆ i  2.7667  2.05714 xi
Xi Yi ( yi  yˆ i )  ei ei2
yˆ i  2.7667  2.05714 xi
1 4.8 4.824 -0.024 0.001
2 7.3 6.881 0.419 0.176
3 8.4 8.938 -0.538 0.290
4 11 10.995 0.005 0.000
5 13.1 13.052 0.048 0.002
6 15.2 15.110 0.090 0.008
y  9.97 Esta suma es aproximadamente cero (0.000)
n
SCE   (Y - yˆ )
i=1
i i
2
 (4.8  4.824) 2  (7.3  6.881) 2  (8.4  8.938) 2
 (11  10.995) 2  (13.1  13.052) 2  (15.2  15.110) 2
 0.476
n
SCR   i
ˆ
(y
i=1
- y) 2
 (4.824  9.97) 2
 (6.881  9.97) 2
 (8.938  9.97) 2
 (10.995  9.97)2  (13.052  9.97)2  (15.110  9.97)2

 74.057
n
SCT   (Y - y)
i=1
i
2
 (4.8  9.97) 2  (7.3  9.97) 2  (8.4  9.97) 2
 (11  9.97) 2  (13.1  9.97) 2  (15.2  9.97) 2
 74.533
SCE 0.476
MCE    0.119
(n - p) (6 - 2)
SCR 74.057
MCR    74.057
(p - 1) (2 - 1)
MCR 74.057
F*    622.33
MCE 0.119
Tabla de Análisis de Varianza

Fuentes de Grados de Sumas Medias Estadístico
Variación Libertad Cuadráticas Cuadráticas de Prueba F
REGRESIÓN p-1 74.057 74.057 622.33
ERROR
(Residuos) n-p 0.476 0.119
TOTAL n–1 74.533
SC Re gresion
R  Coeficiente de det er min acion 
2
SC Total
74.057

74.533
 0.994
2
2 (n - p)R (6- 2)(0.994)
R Aj = = = 0.795
n -1 6-1
Potencia de Explicación del Modelo = (0.994)(100)
 99.4%
Contraste de Hipótesis para b1
La hipótesis nula para un modelo de p parámetros con

(1 - α)100% de confianza
H0 : b1 = 0

vs.

H1 : b1  0
Queremos o deseamos rechazar H0 a favor de H1 si

F* > F(p - 1, n - p)
Ejercicio
• Para el Ejemplo anterior utilizar la Tabla de Análisis

de Varianza, ANOVA, para inferir con respecto a los
parámetros del modelo.
• Postulamos el Contraste de Hipótesis,
H0: b1 = 0 vs. H1 : b1  0
• Puesto que el Estadístico de Prueba es
F = MCR/MCE = 74.06/0.12 = 617.17
Ejercicio
Siendo
 = 0.10
F0.10;1;4  4.54  = 0.05
 = 0.01 Valor p
F0.10;1;4 F0.01;1;4
F0.05;1;4  7.71 F0.05;1;4
F0.01;1;4  21.20
0 2 4 6 8 10 12 14 16 18 20
…
22 24 26 28* 30
MCR
F* =  617.17
MCE
Esto nos lleva a un Valor p << 0.01

p aproximadamente 0.00
El mismo que proporciona evidencia estadística para rechazar la Hipótesis
Nula que postula que la pendiente de la Recta de Regresión es cero.
REFERENCIAS BIBLIOGRÁFICAS
• ZURITA, G. (2010), “Probabilidad y Estadística,

Fundamentos y Aplicaciones”, Segunda Edición,
Ediciones del Instituto de Ciencias Matemáticas ESPOL,
Guayaquil, Ecuador.

Estadistica Capitulo10 Regresión Lineal Simple

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Estadistica Capitulo10 Regresión Lineal Simple

Cargado por

Copyright:

Formatos disponibles

ESTADÍSTICA Y PROBABILIDAD

CAPÍTULO 10: REGRESIÓN LINEAL SIMPLE

Profesora: Eva María Mera Intriago

Escuela Superior Politécnica del Litoral

• Poner una variable cuantitativa en términos de otra

• Deseamos encontrar una función g que explique a Y

Tenemos una variable de explicación

• El modelo es lineal para los betas.

Los valores b0 , b1 , 2 son constantes desconocidas

• El Problema estadístico que se plantea es el de

• Donde ŷi es un valor que predice a Yi

Una vez que fija X = xi

• =Var[(b0 + b1Xi + i ) - (b0 + b1Xi )] 2

Lo mejor es que la varianza sea pequeña porque

Yi  N(b0 + b1Xi , 2)

Seguimos con la Estimación de 0 y 1

¿Con qué criterio?

• Queremos minimizar Q y utilizamos el Criterio de

• Estas dos ecuaciones constituyen un sistema lineal de dos

Determinar los estimadores de Mínimos Cuadrados para un modelo

Regresión Lineal Simple

Resultando entonces que las Ecuaciones Normales son:

59.8 = 6b0 + 21b1

• Por lo que la Ecuación de Regresión para los

Nótese que la relación entre el Coeficiente de Correlación de X con ó

Y y el Coeficiente de Determinación en este modelo, viene dada por

Téngase en cuenta que el Coeficiente de Correlación sí puede ser

Fuentes de Grados de Sumas Cuadráticas Medias Estadístico de

s2 = varianza del error

Se puede probar que la MCE es un Estimador Insesgado de s2,

A seis clientes del servicio de cajeros automáticos de un banco se

Construya la Tabla ANOVA y calcule el coeficiente de

y  9.97 Esta suma es aproximadamente cero (0.000)

 (10.995  9.97)2  (13.052  9.97)2  (15.110  9.97)2

Tabla de Análisis de Varianza

La hipótesis nula para un modelo de p parámetros con

Queremos o deseamos rechazar H0 a favor de H1 si

• Para el Ejemplo anterior utilizar la Tabla de Análisis

• Puesto que el Estadístico de Prueba es

F = MCR/MCE = 74.06/0.12 = 617.17

Esto nos lleva a un Valor p << 0.01

• ZURITA, G. (2010), “Probabilidad y Estadística,

También podría gustarte