Documentos de Académico
Documentos de Profesional
Documentos de Cultura
PARA INGENIEROS
Paralelo 002
Y = g(X1 , X2 , … , Xp)
Y = g(X1 , X2 , … , Xp) + i
Supuestos:
E(Y) = g(X1 , X2 , … , Xp) + 0
E(i
E(Y) = g(X1 , X2 , … , Xp)
var(i
X no es variable aleatoria, es una variable observable que es fijada
en n valores según las necesidades del investigador.
“ei es una Variable Aleatoria que se ve influenciada por el
observador, por el instrumento de medida, por el medio ambiente,
etc.”
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 3
…viene Regresión Lineal
Y X Necesitamos encontrar y = 0 + 1 x
Y1 X1 una función que explique
Y2 X2 Y en términos de X.
. .
. .
. .
Yn X n X
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 4
…viene Regresión Lineal
Yi = b0 + b1Xi + i
• X no es variable aleatoria.
• “ei es una Variable Aleatoria por lo tanto Yi es
una variable aleatoria.
• Y se denomina variable de respuesta o variable
a ser explicada o pronosticada.
• X se denomina variable de explicación.
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 5
• Dado el Modelo Condicional, vamos a trabajar bajo los
siguientes supuestos:
• E[Yi | X = xi ]= b0 + b1Xi
• E(i) = 0; var(j) = 2 ; cov(i , j) = 0; i j
• E[Yi | X = xi ] es también denominado Función de Respuesta o Parte
Sistemática o Determinística
Y del modelo. Con cov( , ) = 0; i j se i j
busca plantear
y = 0 + 1 x independencia lineal
entre i , j ;i j ; sobre
E[Y | X = x1 ]= 0 + 1 x1 todo cuando se suponga
cierta distribución de
E[Y| X = x2 ] = 0 + 1 x2 probabilidad para el error
X
x1 x2
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 6
…viene Regresión Lineal
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 7
Yi = b0 + b1Xi + i
Yi = b0 + b1Xi + i
No conocemos b0 y b1 Yi se observa
Los estimamos: ŷi se calcula
b0 = ̂0
b1 = ̂1 ŷi es un valor que predice a Yi
ŷi = βˆ 0 + βˆ 1X i = b 0 + b1x i
E[Yi ] = b0 + b1Xi
var(Yi) =Var(ei )=2
• ei ~ N(0,s2); siendo s2 constante esto
implica que Yi ~N( b0 + b1Xi, s2)
Y Y
Esperamos
que la c y = 0 + 1 x c y = 0 + 1 x
probabilida d d
d de leer Y
en el b b
a a
segmento
ab sea el X X
área bajo la X1 X 1
curva Y1 puede
Estadística para Ingenierías, tomar
Capítulo cualquier
10 y 11: Regresión valory Múltiple
Lineal Simple real puesto que el soporte de una distribución 11
Guayaquil, Enero de 2011
…viene Regresión Lineal
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 12
…viene Regresión Lineal
E(y | X = Xi) = 0 + 1 Xi
E(i) = 0
var(j) = 2
cov(i , j) = 0; i j
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 13
…viene Regresión Lineal
Yi yˆ i ei ˆi
n 2
Q = (Yi yˆ i )
i =1
n 2
Q = (ei )
i =1
n 2
(Yi yˆ i ) 0
i=1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 14
…viene Regresión Lineal
i =1
n
Q = (Yi - (b 0 + b1 x i )) 2
i =1
• A partir de la expresión cuadrática se obtiene la
estimación de b0 y b1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 15
…viene Regresión Lineal
n
Q = (Y i - (b 0 + b1 x i )) 2
Para minimizar
Q Q i =1
b 0 b1
Q 2 n ( y - (b + b x ))(-1) = 0
b0 i 0 1 i
i =1
n
2 ( y i - ( b 0 + b1 x i )) 0
i =1
Q 2 n ( y - (b + b x ))(-x ) = 0
b1 i 0 1 i i
i =1
n
2 ( y i - ( b 0 + b1 x i )) x i = 0
i =1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 16
…viene Regresión Lineal
n
2 ( y i - ( b 0 + b1 x i )) 0
i =1
De esto es posible obtener lo que se conoce como las
ecuaciones normales
ab=0 a=0 b=0
n
(Yi - b 0 - b1 x i ) = 0
i =1
n n
Yi - nb 0 - b1 x i = 0
i =1 i =1
n n
Yi nb 0 b1 x i
i =1 i =1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 17
n
2 ( y i - (b 0 + b1 x i )) x i = 0
i =1
…viene Regresión Lineal
n
x i (Yi - b 0 - b1 x i ) = 0
i =1
n n n 2
x iYi - b 0 x i - b1 x = 0 i
i =1 i =1 i =1
n n n 2
x iYi = b 0 x i + b1 x i
i =1 i =1 i =1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 18
…viene Regresión Lineal
Y ŷ i
+ b 1x i
1 x b0
y = 0
+
ŷ i =
i e2
e3 en
2
e1
X X
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 19
Ecuaciones Normales
n n
Yi nb 0 b1 x i
i =1 i =1
n n n 2
x iYi = b 0 x i + b1 x i
i =1 i =1 i =1
xi x x iY
2
1
i i
i=1 i=1 i=1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 20
…viene Regresión Lineal
Ejemplo
A seis clientes del servicio de cajeros automáticos de un banco se les
pide califiquen la calidad de tal servicio en una escala de cero a veinte;
para el efecto se escogen los clientes de acuerdo al número de años
que han estado relacionados con el banco que ofrece el servicio. Se
selecciona un cliente por cada año de “antigüedad”, mínimo un año y
máximo seis. Los resultados se muestran a continuación.
Xi (Antigüedad en años) 1 2 3 4 5 6
Yi (Calificación) 4.8 7.3 8.4 11.0 13.1 15.2
VER MINITAB
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 22
Ecuaciones Normales
n n
Y i nb 0 b1 x i
i =1 i =1
n n n 2
x iY i = b 0 x i + b1 x i
i =1 i =1 i =1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 23
Xi Yi n n
n x Yi
Antigüedad Calificación i
i=1
b
i=1
1 4.8
0
2 7.3 n n
b
n
xi x x iY
2
3 8.4 1
i i
i=1 i=1 i=1
4 11
5 13.1 6
6 15.2 x
i 1
i 1 2 3 4 5 6 21
6
y
i 1
i 4.8 7.3 8.4 11 13.1 15.2 59.8
6
x y
i 1
i i 1(4.8) 2(7.3) ... 6(15.2) 245.3
n
i 1 4 9 16 25 36 91
x 2
i 1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 24
n n
n x Yi
6 21 b 0
i
i=1
b
i=1
59 . 8
0
21 91 b1
n n
b
n
245 . 3
xi x x iY
2
1
i i
i=1 i=1 i=1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 25
• Al resolver el sistema lineal de dos ecuaciones
con dos incógnitas encontramos que:
b0 = 2.7667; y,
b1 = 2.05714
yˆ i 2.7667 2.05714 xi
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 26
Regresión Lineal Simple
Estimación de Intersección b0 y Pendiente b1
yˆ i 2.7667 2.05714 xi
2.05714
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 27
• Si quisiéramos estimar el valor de la calificación Y
que daría un cliente al servicio, cuando éste tiene X
= 1.5 años de antigüedad, lo haríamos de la
siguiente manera:
• YX= 1.5 = 2.7667 + 2.0571(1.5) = 5.85 sobre 20
• Mientras que un cliente con cinco años de
antigüedad se estima calificaría al servicio con la
nota
• Y | X = 5 = 2.7667 + 2.0571(5) = 13.05 sobre 20
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 28
• En definitiva, a medida que se incrementa la
antigüedad del cliente, se incrementa también la
calificación que da al servicio que el banco le ofrece.
El incremento es de 2.05714 puntos por año. La
antigüedad haría que con el paso de los años, el
cliente considere mejor a “su” banco.
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 29
…viene Regresión Lineal
Yi = b0 + b1Xi + i
i N(0, ) 2
E(i
var(i
cov(i j ; i j
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 30
…viene Regresión Lineal
n Yi se observa
SCT = (Y - y)
i=1
i
2
ŷi se calcula
Contiene el total de la variabilidad de la muestra.
Esta expresión no cambia con el modelo.
n n
(Yi - y)
i=1
2
i
(Y
i=1
- y ˆ
y i - ˆ
y i ) 2
n
i i
((Y
i=1
- ˆ
y ) ( ˆ
y i - y )) 2
n n
0 n
(Y - yˆ )
i=1
i i
2
2 (Yi - yˆ i ) ( yˆ i - y ) (yˆ i - y) 2
i=1 i=1
n n
(Y - yˆ )
i=1
i i
2
(yˆ
i=1
i - y) 2
SC Error SC Regresión
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 31
…viene Regresión Lineal
SC Re gresion
R Coeficiente de det er min acion
2
SC Total
ó
ó
SC Error
0 R 12
1
SC Total
Si al coeficiente de determinación lo multiplicamos por 100
(R2 x 100), tenemos la Potencia de Explicación del Modelo, la cual
mide cuán bueno es el modelo. Si el modelo es perfecto la Potencia
de Explicación es 100%.
Coeficiente de Determinación Ajustado
2
2 (n - p)R
R Aj =
n -1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 32
…viene Regresión Lineal
rxy R 2
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 33
…Regresión Lineal Tabla de Análisis de
Varianza
ŷ i - y SCR
2
REGRESIÓN p-1
p 1
F* = MCR
MCE
i=1
n
ERROR
yi - yˆ i SCE
2
n-p
(Residuos) n p
i=1
n
y - y
2
TOTAL n–1 i
i=1
F* tiene distribución F de Fisher con (p – 1) gl en el numerador y (n - p)
gl en el denominador.
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 34
…viene Regresión Lineal
n (Yi - yˆ i ) 2 n ei2
E(MCE) = E = E = σ 2
i=1 n - 2 i=1 n - 2
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 35
…viene Ejemplo Regresión Lineal
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 36
…viene Regresión Lineal
yˆ i 2.7667 2.05714 xi
Xi Yi ( yi yˆ i ) ei ei2
yˆ i 2.7667 2.05714 xi
1 4.8 4.824 -0.024 0.001
2 7.3 6.881 0.419 0.176
3 8.4 8.938 -0.538 0.290
4 11 10.995 0.005 0.000
5 13.1 13.052 0.048 0.002
6 15.2 15.110 0.090 0.008
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 37
…viene Regresión Lineal
n
SCE (Y - yˆ )
i=1
i i
2
(4.8 4.824) 2 (7.3 6.881) 2 (8.4 8.938) 2
(11 10.995) 2 (13.1 13.052) 2 (15.2 15.110) 2
0.476
n
SCR i
ˆ
(y
i=1
- y) 2
(4.824 9.97) 2
(6.881 9.97) 2
(8.938 9.97) 2
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 38
…viene Regresión Lineal
SCE 0.476
MCE 0.119
(n - p) (6 - 2)
SCR 74.057
MCR 74.057
(p - 1) (2 - 1)
MCR 74.057
F* 622.33
MCE 0.119
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 39
…viene Regresión Lineal
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 40
…viene Regresión Lineal
SC Re gresion
R Coeficiente de det er min acion
2
SC Total
74.057
74.533
0.994
2
2 (n - p)R (6- 2)(0.994)
R Aj = = = 0.795
n -1 6-1
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 41
Potencia de Explicación del Modelo = (0.994)(100)
99.4%
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 42
Contraste de Hipótesis para b1
vs.
H1 : b1 0
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 43
Ejercicio
H0: b1 = 0 vs. H1 : b1 0
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 44
Ejercicio
Siendo
= 0.10
F0.10;1;4 4.54 = 0.05
= 0.01 Valor p
F0.10;1;4 F0.01;1;4
F0.05;1;4 7.71 F0.05;1;4
F0.01;1;4 21.20
0 2 4 6 8 10 12 14 16 18 20
…
22 24 26 28* 30
MCR
F* = 617.17
MCE
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 45
REFERENCIAS BIBLIOGRÁFICAS
Estadística para Ingenierías, Capítulo 10 y 11: Regresión Lineal Simple y Múltiple Guayaquil, Enero de 2011 46