ANALISIS DE REGRESION

LINEAL Y MULTIPLE
Docente:
Mercedes Aida Osorio Maza
mosorio@uni.edu.pe
SEMANA 2
2014 - II
TEORIA
TEMAS A DESARROLLAR
Anlisis de Regresin Lineal Simple;
Coeficiente de determinacin, Coeficiente
de correlacin.
Anlisis de Regresin Polinomial de 1er y
2do grado.
Regresin Lineal Mltiple.
Regresin Lineal Mltiple con 2 variables
independientes.

ANLISIS DE REGRESIN
Consiste en emplear mtodos estadsticos que determinen
matemticamente un modelo de la curva que ms se ajusta a
los datos.
Es decir: y =
Donde:
y = variable dependiente
x = variable independiente
f = funcin
Para elegir la relacin funcional que ms se ajusta a los
datos lo 1ro que debemos hacer es el diagrama de
dispersin.
) (xi
f
DIAGRAMA DE DISPERSIN
Es la grfica de los valores (x
i
, y
i
) este diagrama permite
visualizar la tendencia que siguen los puntos ya sea lineal,
exponencial, etc.




Otros diagramas de dispersin:




En base a la tendencia que siguen los datos nosotros
analizamos los diferentes tipos de regresin.




3.- ANALISIS DE REGRESION POTENCIAL
2.- ANALISIS DE REGRESION EXPONENCIAL
4.- ANALISIS DE REGRESIN POLINOMIAL

5.-ANALISIS DE REGRESIN LINEAL MLTIPLE

1.- ANLISIS DE REGRESIN LINEAL
1.- ANLISIS DE REGRESIN LINEAL
Es aquel anlisis cuando la relacin entre x e y es de
tipo lineal.
Matemticamente el modelo ser:




i i i
Bx A y e + + =
Donde:





Error
es Coeficient B A,
ente indenpendi Variable x
e dependient Variable y
i
i
i
= e
=
=
=
Si tenemos un diagrama de dispersin lineal y si asumimos
un modelo de estimacin de la forma:




Tendremos:





i i
bx a y

+ =

i
e
l) Poblaciona (Modelo Bx A y
i i
e + + =
Muestral) (Modelo bx a y

i i
+ =
Para que el modelo estimado este muy prximo al modelo
real, nosotros debemos minimizar el error.




Tomando una observacin el error ser
Luego la recta que mejor se ajusta ser aquella que
minimice la suma cuadrado del error:




1 1 1
y

y = c
( ) min. y

y
2
i i
2
i
= = e
Es decir:





( ) ( ) ( ) ( )

=
= + + = e
n
1 i
2
i i
2
i i
2
2 2
2
1 1
2
i
y

y y

y ........ .......... y

y y

y
Para hallar los estimadores a y b que hagan mnimo el
error se estimara de:





} Normales Ecuaciones 0
b
0
a
2
i
2
i
=
c
e c
. =
c
e c
Obtenemos las Ecuaciones Normales:



x b na y
n
1 i
i
n
1 i
i
= =
+ =
1 era Ecuacin Normal





2 da Ecuacin Normal






= = =
= + =
n
1 i
n
1 i
2
i i
n
1 i
i i
0 x b x a y x
2.- ANLISIS DE REGRESIN EXPONENCIAL
Cuando el diagrama de dispersin se nos presenta en la
siguiente forma:



El modelo ser linealizado tomando logaritmo natural y/o
funcin logaritmo.



x * b * a y*
xlnb lna lny
ab y
x
+ =
+ =
=

La estimacin de a* y b* se halla igual que la regresin
lineal simple de las ecuaciones:



normales Ecuaciones
x * b x * a xy*
x * b * na y*
2
i i
i

+ =
+ =


La regresin exponencial se presenta en muchos problemas
de Fsica, Qumica Economa. Etc.



3.- ANLISIS DE REGRESIN POTENCIAL
Si se presenta un modelo la manera de linealizarlo es
mediante ln y/o log.


Las ecuaciones sern:





+ =
+ =
2 *
i i
*
i
*
i
*
i
*
i
x b x * a y x
x * b * na y
blnx lna lny
) ln(ax lny
b
+ =
=
COEFICIENTE DE DETERMINACIN (r
2
)
Es aquella medida conocida tambin como coeficiente de
bondad de ajuste ya que indica en que porcentaje se ajusta
la lnea de regresin al conjuntos de datos.


( )
( )
i i i
i
2
i
2
i 2
bx a y

modelo al base en estimado Valor y

observado Valor y

y - y
y - y

r
+ = =
=
=

x" variable" la por explicada y" " de variacion la %de el Mide r

2
=
Grficamente:


Grficamente el coeficiente de determinacin se observa:


Se sabe:



Estimado Valor y

Observado Valor y
i
i
=
=
i i i
i i
i i
y

y
. y promedio al respecto con y de desviacin y - y

. y promedio al respecto con y Desviacin y - y

= e
=
=
Luego:



( ) ( )
Error S.C. Regresin S.C. al S.Cuad.Tot
. y - y

y - y
2
i
2
i
2
i
+ =
e + =

Coeficiente de No Determinacin (1 r
2
)
Nos indica el % porcentaje de la variacin de y que no
depende de la variacin de x, su variacin se debe a los
factores aleatorios.



Coeficiente de Correlacin (r)
Mide el grado de asociacin entre x e y.
En la regresin mltiple:

ntes Independie 2Variables

2
y.12
r
4.- ANLISIS DE REGRESIN POLINOMIAL
Se aplica cuando en el diagrama de dispersin los puntos no
siguen una tendencia lineal sino una tendencia curva. Ya sea
de 2do grado, 3ro grado, etc.



i
3
3
2
2 1 o i
........ .......... x B x B x B B y e + + + + =
Luego:


min
n
1 i
2
i
= e

=
Nos genera estimadores que minimicen la suma cuadrado
del error.


Para poder hallar los parmetros:


Aplicaremos el criterio de los mnimos cuadrticos:


etc. ......, ,......... B

, B

, B

2 1 o
0
B
o
2
i
=
c
e c

Luego obtendremos:


Normales Ecuaciones
yx ........ x B

x B

x B

yx .......... x B

x B

x B

y ...... .......... x B

x B

n B

2 4
2
3
1
2
0
3
2
2
1 0
2
2 1 0

= + + +
= + + +
= + + +



nte) sucesivame (As
4.1) REGRESIN POLINOMIAL (2do Grado)
Grficamente:


Expresando matricialmente tenemos:



yx x B

x B

x B

yx x B

x B

x B

y x B

x B

n B

2 4
2
3
1
2
0
3
2
2
1 0
2
2 1 0

= + +
= + +
= + +



Normales Ecuaciones las de
hallan se B

, B

, B

s estimadore Los
2 1 0
Del modelo:


Matricialmente ser:


Luego:


Ejemplo (n = 4)


i
2
i 2 i 1 o i
x B

x B

y e + + + =
(
(
(
(

e
e
e
e
+
(
(
(

(
(
(
(
(

=
(
(
(
(

i
i
i
i
2
1
0
2
4 4
2
3 3
2
2 2
2
1 1
4
3
2
1
B

x x 1
x x 1
x x 1
x x 1
y
y
y
y
i i i
i i
y

y
B

x y
e + =
e + =
Para poder hallar los parmetros, aplicamos el mtodo de los
mnimos cuadrados.


( ) ( )
0
Bi
B

x y B

x y
0
B
i
2
1
=
c

'
c
=
c
e c

( )
( ) ( ) y x x x B

y x B

x x
1
' '
=
'
=
'

x y B

x y
Si : NOTA
i i i i
= e e + =
Hallamos (xx) y (xy)


( )
(
(
(

=
'



4
i
3
i
2
i
3
i
2
i i
2
i i
x x x
x x x
x x n
x x
El vector de coeficiente ser:

El modelo matricial ser:


( )
(
(
(

=
'

i i
i i
i
y x
y x
y
2
y x
( ) ( )
(
(
(

=
' '
=

2
1
0
1

y x x x B

B
B
B
2
i 2 i 1 o i i
x B

x B

y/o B

x y

+ + = =
5.- ANLISIS DE REGRESIN
LINEAL MULTIPLE
Sean x
1
, x
2
, ..................., x
P
, p variables independientes, y
una variable aleatoria que depende de las k variables
independientes.
El mtodo matemtico de regresin lineal mltiple es:



i p p 3 3 2 2 1 1 0 i
x .......B .......... X B x B x B B y e + + + + + =
El problema al igual que en la regresin lineal es estimar los
parmetros:


P 2 1 0
B

.... ,......... B

, B

, B

Esto se halla minimizando la suma cuadrado del error

= e min.
2
i
Si:

( ) ( )

= = =
= e =
n
i
n
i 1
2
p p 2 2 1 1 0 i
1
2
i i
n
1 i
x B

........ x B

x B

y y

y i Q
Luego:

0.
B
Q
k
=
c
c
Nos dar estimadores mnimos cuadrados

|
|
.
|

\
|
=
c
c
=
c
c
.......... 0,........
B
Q
0,
B
Q
2 1
5.1) REGRESIN LINEAL MULTIPLE
(2 Variables Independientes)
Si:

( ) ( )

= = =
= = e =
n
1 i
n
1 i
2
2 2 1 1 0 i
2
i i
n
1 i
2
I
x B

x B

y y

y Q
Luego las ecuaciones normales son:




= + +
= + +
= + +
i 2
2
2 2 2 1 1 2 0
i 1 2 1 2
2
1 1 1 0
i 2 2 1 1 0
y x x B

x x B

x B

y x x x B

x B

x B

y x B

x B

n
Expresando matricialmente :


Ejemplo (n = 4)


i i i
xB y e + =
(
(
(
(

e
e
e
e
+
(
(
(

(
(
(
(

=
(
(
(
(

4
3
2
1
2
1
0
24 14
23 13
22 12
21 11
4
3
2
1
B

x x 1
x x 1
x x 1
x x 1
y
y
y
y

Luego:


4 24 2 14 1 0 4
3 23 2 13 1 0 3
2 22 2 2 1 1 0 2
1 21 2 11 1 0 1
x B

x B

y
x B

x B

y
x B

x B

y
x B

x B

y
e + + + =
e + + + =
e + + + =
e + + + =
Los valores de se hallan de:


i
B

i
i
B c
c

2
c
( ) ( )
0
2
=
c

'
c
=
c
c

i i
i
B
xB y xB y
B
c
Luego:


( )
( ) ( ) y x x x B

y x B

x x
1
' '
=
'
=
'

Hallamos(xx)


(
(
(
(
(

=
(
(
(

=
'
2
24 14
2
23 13
2
22 12
2
21 11
2
24
2
23
2
22
2
21
14 13 12 11
x x 1
x x 1
x x 1
x x 1
x
x x x x
x x x x
1 1 1 1
x
Luego:


( )
(
(
(
(
(
(
(

=
'



= = =
= = =
= =
n
1 i
2i
n
1 i
2i 1i
n
1 i
2i
n
1 i
2i 1i
n
1 i
1i
2
n
1 i
1i
n
1 i
2i
n
1 i
1i
x x x x
x x x x
x x n
x x
(
(
(
(

=
(
(
(

=
'
4
3
2
1
2
24
2
23
2
22
2
21
14 13 12 11
y
y
y
y
y
x x x x
x x x x
1 1 1 1
x
Luego:


( )
(
(
(

=
'

i
2
2i
i 1i
i
y x
y x
y
y x
Entonces:


( ) ( )

) cofactores o y / Jordan - Gauss (Metodo
Inversa. Matriz
1
i
y x x x B

' '
=

Coeficiente de determinacin en la regresin lineal mltiple

( )
( )

=
=

=
n
1 i
i
n
1 i
i
2
y.12
2 y y
2 y y

r
Observado Valor y
Estimado) (Modelo x B

x B

i
2 2 1 1 0 i
=
+ + =
y = -3631.x + 14.04
R = 0.940
y = -5E+12x
4
+ 5E+10x
3
- 2E+08x
2
+ 45703x - 321.3
R = 0.941
y = 191.2e
-1386x
R = 0.879
1
1.5
2
2.5
3
3.5
4
4.5
0.0026 0.0027 0.0028 0.0029 0.003 0.0031 0.0032 0.0033 0.0034 0.0035 0.0036
L
N
(
P
)
1/T
DIAGRAMA DE DISPERSIN (Ln(P) VS 1/T))
Series1
Lineal (Series1)
Polinmica (Series1)
Exponencial (Series1)
0
0.15 0.17
0.2
0.4
0.7
1.1
1.8
3
5
7
y = 0.004x
2
- 3.196x + 546.3
R = 0.975
y = 0.000x
3
- 0.114x
2
+ 39.08x - 4444.
R = 0.998
-1
0
1
2
3
4
5
6
7
8
325 335 345 355 365 375 385
P
r
e
s
i

n
(
P
)
Temperatura(T)
DIAGRAMA DE DISPERSIN CUADRATICA
Series1
Polinmica (Series1)
Polinmica (Series1)
VIDEO INTRODUCTORIO DE ANLISIS DE
REGRESIN LINEAL Y MLTIPLE
VIDEO DE RESOLUCIN DE EJERCICIOS DE
ANLISIS DE REGRESIN LINEAL Y
MLTIPLE