REGRESIN POR MNIMOS

CUADRADOS
-JOHNNY CARPIO QUIRS
-DOUGLAS ESPINOZA
-DIEGO ANBAL NAVARRO CARRILLO
-MAURICIO RETANA FERNANDEZ
-MARCIA VEGA MONTIEL
-RAQUEL VILLALOBOS RODRIGUEZ

REGRESIN POR MNIMOS

CUADRADOS
-

Regresin Lineal Mltiple.

Mnimos Cuadrados Lineales.
Regresin No Lineal.

REGRESIN LINEAL MLTIPLE

DEFINICIN

Extensin til de la regresin lineal

cuando y es una funcin lineal de dos
o ms variables independientes.
Ejemplo:

y a 0 a1x1 a 2 x 2 e

SUMA DE LOS CUADRADOS DE

LOS RESIDUOS

S r ( yi a0 a1 x1i a 2 x 2i )
i 1

DERIVADAS PARA LA MATRIZ DE

COEFICIENTES
S r
2 ( y i a 0 a 1 x1i a 2 x 2i )
a o
S r
2 x1i ( y i a 0 a 1 x1i a 2 x 2i )
a1
S r
2 x 2i ( y i a 0 a 1 x1i a 2 x 2i )
a 2

MATRIZ PARA EL CLCULO DE

LOS COEFICIENTES

x1i
x 2i
n
x

x
x
1
i
1
i
1
i
2i

2
x2i x1i x 2i x1i

ao yi

a1 x1i yi
a x y
2 2i i

EJEMPLO

Los datos de la
Tabla 1 se
calcularon segn
la ecuacin:

y 5 4 x1 3 x 2

Utilice regresin
lineal para ajustar
esos datos.

Tabla 1
x1
0
2
2.5
1
4
7

x2
0
1
2
3
6
2

y
5
10
9
0
3
27

TABLA 2. CLCULOS REQUERIDOS

y
5

xi
0

x2
0

10
2
1
9 2 .5 2
0
1
3
3
4
6
27
7
2
54 16.5 14

x12
0

x 22
0

x1 x 2
0

4
1
6.25
4
1
9
16
36
49
4
76.25 54

2
5
3
24
14
48

x1 y
0

x2 y
0

20
10
22.5 18
0
0
12
18
189
54
243.5 100

MATRIZ Y RESPUESTA
16.5 14 a 0
6
54
16.5 76.25 48 a 243.5

1
100
14
48
54 a 2

a0 5
a1

a2

EXTENDIENDO EL CLCULO A M
DIMENSIONES

Ecuacin :
y a 0 a1 x1 a 2 x 2 ... a m x m e

Error Estndar :
Sy/x

Sr
n (m 1)

MNIMOS CUADRADOS

HISTORIA

En 1829 Gauss fue capaz de establecer

la razn del xito maravilloso de resolver
ecuaciones no lineales de Kepler por el
mtodo de mnimos cuadrados :
simplemente, el mtodo de mnimos
cuadrados es ptimo en muchos
aspectos. El argumento concreto se
conoce como teorema de gauss Markov.

Las regresiones: lineal, polinomial y lineal

mltiple pertenecen al siguiente modelo
lineal general de mnimos cuadrados:

y a0 z 0 a1 z1 a 2 z 2 ... a m z m e
donde todos los zm son funciones
diferentes y los an son los coeficientes
numricos (y depende de mltiples
valores de x, esto es, x1, x2, x3, ,
xm).

Esa ecuacin se puede reescribir en forma

matricial as:

Y Z A E

Y Z A E

donde [Z] es una matriz de los valores

calculados de las funciones z en los valores
medidos de las variables independientes (todos
los valores de x en una tabla).

z 01
z
Z 02
...

z0n

z11
z12
...
z1n

...

z m1

... z m 2
... ...

... z mn

donde m es el nmero de variables en el modelo

(nmero de funciones x) y n el nmero de
datos (nmero de valores x). [Z] no siempre
es una matriz cuadrada.

Y Z A E

El vector columna {Y} contiene los

valores observados de la variable
dependiente:

y1

y2

... y n

El vector columna {A} contiene los

coeficientes desconocidos (los que se
calculan con el mtodo):

A T a1

a2

... a m

Y Z A E

y el vector columna {E} contiene los

residuos:

E e1
T

e2 ... em

La suma de los cuadrados de este

modelo se define como:
n

i 1

j 0

S r ( y i a j z ji )

Esta cantidad se minimiza tomando las

derivadas parciales con respecto a cada
coeficiente e igualando a cero las
ecuaciones restantes. El resultado son las
ecuaciones normales (que dan los valores
para los coeficientes a) que se expresan
de forma matricial como:

Z Z A Z Y
T

Tcnicas de solucin: Pueden utilizarse

descomposicin LU, Cholesky o matriz
inversa.
Matriz Inversa:

A Z Z Z Y
T

EJEMPLO:

Dados los datos:

X
1
2
3
4
5
6

Y
5.04
8.12
10.64
13.18
16.20
20.04

Ajuste por mnimos

cuadrados

Por tanto, nuestro sistema a

resolver ser:

de donde obtenemos que:

tendremos que el polinomio viene dado por:

Se obtienen:

Con lo que el sistema

a resolver es:

Cuya solucin viene dada por:

y, por lo tanto, la cuadrtica de ajuste

es:

REGRESIN NO LINEAL

UTILIDAD

Existe una gran cantidad de

casos en ingeniera en
donde modelos no lineales
deben ser ajustados con
datos.

EN QU SE BASA?

Al igual que en los mnimos

cuadrados lineales se basa en la
determinacin de los valores de los
parmetros que minimizan la suma
de los cuadrados de los residuos, la
solucin debe proceder en una
forma iterativa.

CMO FUNCIONA?

El mtodo de Gauss-Newton sirve

para minimizar los cuadrados de los
residuos entre datos y ecuaciones no
lineales.
Forma lineal aproximada por medio
de una expansin por serie de Taylor.
Nuevas estimaciones por medio de la
teora de mnimos cuadrados.

MTODO DE GAUSS-NEWTON

Para resolver problemas no lineales

por mnimos cuadrados.
Es un proceso iterativo. Debemos
proporcionar una estimacin inicial
del parmetro vector que
denominaremos p0.

Dadas m funciones f1, ..., fm de n

parmetros p1, ..., pn con mn,
queremos minimizar la suma

Donde, p se refiere al vector (p1, ...,

pn).

Una estimacin inicial del parmetro vector

es p0.
Estimaciones posteriores pk para el vector
parmetro son producidas por la relacin
recurrente:

donde f=(f1, ..., fm) yJf(p) denota el

Jacobiano de f en p (ntese que no es
necesario que Jf sea cuadrada).

Una buena implementacin del

algoritmo de Gauss-Newton utiliza
tambin un algoritmo de busqueda
lineal: en lugar de la frmula anterior
para pk+1, se utiliza

Donde el nmero k es de algn

modo ptimo.

CRITERIO DE PARO

El procedimiento antes descrito para

la regresin no lineal se repite hasta
que la solucin converge, es decir
cuando
a

a k , j 1 a k , j
a k , j 1

100%

este por debajo de un criterio de paro

aceptable.

POSIBLES PROBLEMAS

Para el mtodo de Gauss-Newton las

derivadas parciales pueden ser
difciles de calcular, una alternativa
es:
f i f xi ; a0 ...., a k a k ...., a m f xi ; a0 ...., a k ...., a m

a k
a k

Donde delta es la perturbacin

fraccional pequea.

OTROS POSIBLES PROBLEMAS

Puede converger con lentitud

Puede oscilar ampliamente, o sea
cambia en forma continua de
direccin.
Puede no converger

Curva ajustada de un conjunto de datos no

lineales.

Grfico de residuos

EJEMPLO

Dada la funcin f(x;ao,a1)=ao (1-e-a1x)

0.25

0.75

1.25

1.75

2.25

0.28

0.57

0.68

0.74

0.79

f
1 e a1 x
a 0
f
a 0 xe a1 x
a1

Haciendo uso de los valores iniciales:

ao=1.0 y a1 =1.0
Se obtiene:

0.2212 0.1947
0.5276 0.3543

Z0

0.7135

0.8262
0.8946

0.3581

0.3041
0.2371

De la matriz multiplicada por su

transpuesta se obtiene:

Z0 Z0
T

Z0 Z0
T

2.3193

0.9489

0.9489
0.4404

3.6397 7.8421

7
.
8421
19
.
1678

Se calcula el vector D que contiene

las diferencias entre mediciones y
predicciones del modelo.
0.0588
0.0424

D 0.0335
0.0862

0.1046

 0.2714
A

0.5019

Los valores obtenidos se agregan al

para metro inicial supuesto, se
obtiene:
ao=1.0 - 0.2714 = 0.7286
a1=1.0 + 0.5019 = 1.5019