Ajuste por mínimos cuadrados

Elio Fabio Sánchez T.

Universidad de la Amazonia,
Florencia,
elios@uniamazonia.edu.co

U. Amazonia, 2009-I
 Observaciones

5 b
b b

4 b

3
b

2
b

1 b

0
0 1 2 3 4 5 6
U. Amazonia, 2009-I
▽EFST– p.1/31
 Observaciones

5 b
b b

4 b

3
b

2
b

1 b

0
0 1 2 3 4 5 6
U. Amazonia, 2009-I
EFST– p.1/31
 Ajuste por Mínimos Cuadrados

Y 6

-
X
U. Amazonia, 2009-I
▽EFST– p.2/31
 Ajuste por Mínimos Cuadrados

Y 6

·
·
· ·
·
·
· ·
·
·
·
-
X
U. Amazonia, 2009-I
▽EFST– p.2/31
 Ajuste por Mínimos Cuadrados

Y 6

y = a + bx
· 

· 


 ·
 ·

 ·

 ·
· · 
 ·


 ·



 ·

-
X
U. Amazonia, 2009-I
▽EFST– p.2/31
 Ajuste por Mínimos Cuadrados

Y 6

· (xi , yi ) y = a + bx


· 


 ·
 ·

 ·

 ·
· · 
 ·


 ·



 ·

-
X
U. Amazonia, 2009-I
▽EFST– p.2/31
 Ajuste por Mínimos Cuadrados

Y 6

· (xi , yi ) y = a + bx


· 


 ·
 ·

 ·

 ·
· ·  6

 ·

 · yi∗


 ·


? -
X
U. Amazonia, 2009-I
▽EFST– p.2/31
 Ajuste por Mínimos Cuadrados

Y 6

· (xi , yi ) y = a + bx
6 

· 

ei = 
yi − yi  ·
∗
 ·

 ·
?
 ·
· ·  6

 ·

 · yi∗


 ·


? -
X
U. Amazonia, 2009-I
EFST– p.2/31
 Caso lineal

Sean (x1 , y1 ), (x2 , y2 ), · · · , (xn , yn ) valores observadosa y

sea f (x, a, b) = a + b · x la recta de ajuste de los valores
de Y en función de los de X .

Error o residuo: discrepancia entre el valor verdadero y y

el valor aproximado, a + bx, que predijo la ecuación lineal.

ei = yi − a − bxi

a
Obsérvese que no se dan las observaciones con sus respectivas frecuen-
cias, sino que se hace por extensión para facilitar la nomenclatura.

U. Amazonia, 2009-I
EFST– p.3/31
 Objetivo

Minimizar la suma de los errores residuales de todos los

datos
Xn Xn
ei = (yi − a − bxi )
i=1 i=1

n
X n
X
Sr = e2i = [yi − (a + bxi )]2 .
i=1 i=1

U. Amazonia, 2009-I
EFST– p.4/31
 Derivando...

n
∂Sr X
= −2 [yi − (a + bxi )]
∂a
i=1
n
∂Sr X
= −2 [yi − (a + bxi )]xi
∂b
i=1

U. Amazonia, 2009-I
EFST– p.5/31
 Ecuaciones normales del modelo

Igualando a cero:
n
X n
X
yi = na + b xi
i=1 i=1
n
X n
X n
X
yi x i = a xi + b x2i .
i=1 i=1 i=1

U. Amazonia, 2009-I
EFST– p.6/31
 Se obtiene el sistema:
 X   X   
yi n xi a
=
     
 X  X  × 
X
yi x i xi x2i b

Con solución....

U. Amazonia, 2009-I
EFST– p.7/31
 Solución

Admitiendo que se verifican las condiciones suficientes

de mínimo se pueden obtener fácilmente los valores de a
y b:
P P P
n yi x i − x i yi
b= P 2 P 2
n xi − ( xi )

U. Amazonia, 2009-I
▽EFST– p.8/31
 Solución

Admitiendo que se verifican las condiciones suficientes

de mínimo se pueden obtener fácilmente los valores de a
y b:
P P P
n yi x i − x i yi
b= P 2 P 2
n xi − ( xi )

a = y − bx

U. Amazonia, 2009-I
▽EFST– p.8/31
 Solución

Admitiendo que se verifican las condiciones suficientes

de mínimo se pueden obtener fácilmente los valores de a
y b:
P P P
n yi x i − x i yi
b= P 2 P 2
n xi − ( xi )

a = y − bx
El valor b, que es la pendiente de la recta de ajuste,
recibe el nombre de coeficiente de regresión y
representa el incremento de la variable dependiente para
aumentos unitarios de la independiente.

U. Amazonia, 2009-I
EFST– p.8/31
 Dada la distribución bidimensional

X 1 2 3 4 5 6
Y 2 5 9 13 17 21

U. Amazonia, 2009-I
EFST– p.9/31
 Ejemplo de Ajuste Lineal

25 6

20

15

10

5
-
1 2 3 4 5 6
X
U. Amazonia, 2009-I
▽EFST– p.10/31
 Ejemplo de Ajuste Lineal

25 6
q
20
q
15
q

10 q

5 q
q
-
1 2 3 4 5 6
X
U. Amazonia, 2009-I
▽EFST– p.10/31
 Ejemplo de Ajuste Lineal

25 6
q
20
q
15
q

10 q

5 q
q
-
1 2 3 4 5 6
X
U. Amazonia, 2009-I
EFST– p.10/31
 Calculando

Procesando...

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...

n=6

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...
P
n=6 yi xi = 302

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...

x2i = 91
P P
n=6 yi xi = 302

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...
P P 2
n=6 yi xi = 302 xi = 91
P
xi = 21

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...
P P 2
n=6 yi xi = 302 xi = 91
P
xi = 21 x = 21/6 = 3,5

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...
P P 2
n=6 yi xi = 302 xi = 91
P
xi = 21 x = 21/6 = 3,5
P
yi = 67

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...
P P 2
n=6 yi xi = 302 xi = 91
P
xi = 21 x = 21/6 = 3,5
P
yi = 67 y = 67/6 = 11,17

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...
P P 2
n=6 yi xi = 302 xi = 91
P
xi = 21 x = 21/6 = 3,5
P
yi = 67 y = 67/6 = 11,17

b =

a =

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...
P P 2
n=6 yi xi = 302 xi = 91
P
xi = 21 x = 21/6 = 3,5
P
yi = 67 y = 67/6 = 11,17

6(302) − (21)(67)
b = = 3,85
6(91) − (21)(21)
a =

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...
P P 2
n=6 yi xi = 302 xi = 91
P
xi = 21 x = 21/6 = 3,5
P
yi = 67 y = 67/6 = 11,17

6(302) − (21)(67)
b = = 3,85
6(91) − (21)(21)
a = 11,17 − (3,85)(3,5) = −2,33

U. Amazonia, 2009-I
▽EFST– p.11/31
 Calculando

Procesando...
P P 2
n=6 yi xi = 302 xi = 91
P
xi = 21 x = 21/6 = 3,5
P
yi = 67 y = 67/6 = 11,17

6(302) − (21)(67)
b = = 3,85
6(91) − (21)(21)
a = 11,17 − (3,85)(3,5) = −2,33

Es decir, cuando X aumenta en una unidad Y lo hace en

3.85 unidades
U. Amazonia, 2009-I
EFST– p.11/31
 Observaciones

Datos experimentales

X 1,10 1,71 2,08 2,68 3,30 3,70 4,03 4,72 5,28 5,77
Y 10,8 18,2 16,1 33,4 41,6 50,7 58,7 64,2 73,6 82,0

U. Amazonia, 2009-I
EFST– p.12/31
 b

80
b

70
b

60 b

50 b

40
Y

30

20 b

10
b

0 X
U. Amazonia, 2009-I 0 1 2 3 4 5 6
EFST– p.13/31
 General

X X
yi = an + b xi
X X X
xy = a xi + b x2i

U. Amazonia, 2009-I
EFST– p.14/31
 Sistema de ecuaciones lineales

 X   X 
yi n xi " #
a
 = X
   
×
b
 X X
yi x i xi x2i

U. Amazonia, 2009-I
▽EFST– p.15/31
 Sistema de ecuaciones lineales

   
459,3 10 34,37 " #
a
=
   
×
b
  
1913,005 34,37 139,9135

U. Amazonia, 2009-I
▽EFST– p.15/31
 Sistema de ecuaciones lineales

   
459,3 10 34,37 " #
a
=
   
×
b
  
1913,005 34,37 139,9135
Resolviendo el sistema:
a = -6.83

U. Amazonia, 2009-I
▽EFST– p.15/31
 Sistema de ecuaciones lineales

   
459,3 10 34,37 " #
a
=
   
×
b
  
1913,005 34,37 139,9135
Resolviendo el sistema:
a = -6.83 b = 15.35

U. Amazonia, 2009-I
▽EFST– p.15/31
 Sistema de ecuaciones lineales

   
459,3 10 34,37 " #
a
=
   
×
b
  
1913,005 34,37 139,9135
Resolviendo el sistema:
a = -6.83 b = 15.35

Por tanto, la ecuación de la recta es:

y = 15.35x - 6.83

U. Amazonia, 2009-I
EFST– p.15/31
 b

80
b

70
b

60 b

50 b

40
Y

30

20 b

10
b

0 X
U. Amazonia, 2009-I 0 1 2 3 4 5 6
▽EFST– p.16/31
 b

80
b

70
b

60 b

3
6,8
50 b

x−
,35
b

40
Y

15
y=
b

30

20 b

10
b

0 X
U. Amazonia, 2009-I 0 1 2 3 4 5 6
EFST– p.16/31
 Observaciones

Datos experimentales

X 0 2 4 6 8 12 16 20 24 28 30 34
Y 10 12 18 22 20 30 26 30 26 28 22 20

U. Amazonia, 2009-I
EFST– p.17/31
 Lineal ?

30 b b

b b

b b

20 b
b b

10 b

0
0 10 20 30 40

U. Amazonia, 2009-I
▽EFST– p.18/31
 Lineal ?

30 b b

b b

b b

20 b
b b

10 b

0
0 10 20 30 40

U. Amazonia, 2009-I
EFST– p.18/31
 Caso no lineal

Se considera la función de ajuste

f (x, a, b, c) = a + bx + cx2

Para obtener los valores de a, b y c se utiliza el método

de los mínimos cuadrados y se minimiza la función H
definida por
n
X
H(a, b, c) = [yi − (a + bxi + cx2i )]2 .
i=1

U. Amazonia, 2009-I
EFST– p.19/31
 Caso no lineal

Para ello se calculan las derivadas parciales de H

respecto de a, b y c y se igualan a cero:
n
∂H X
= −2 [yi − (a + bxi + cx2i )] = 0
∂a
i=1
n
∂H X
= −2 [yi − (a + bxi + cx2i )]xi = 0
∂b
i=1
n
∂H X
= −2 [yi − (a + bxi + cx2i )]x2i = 0.
∂c
i=1

U. Amazonia, 2009-I
EFST– p.20/31
 Caso no lineal

Despejando los términos independientes, se obtiene el

sistema de ecuaciones normales:
n
X n
X n
X
yi = an + b xi + c x2i
i=1 i=1 i=1
n
X n
X n
X n
X
yi x i = a xi + b x2i + c x3i
i=1 i=1 i=1 i=1
Xn Xn Xn Xn
yi x2i = a x2i + b x3i + c x4i .
i=1 i=1 i=1 i=1

U. Amazonia, 2009-I
EFST– p.21/31
 Como sistema:
 X   X X  
x2i

yi n xi
     a 
     
 X  X X X  
x2i x3i  × 

yi x i  =  xi b
    
  
     
     
 X  X X X 
yi x2i x2i x3i x4i c

Con solución....

U. Amazonia, 2009-I
EFST– p.22/31
 Ajuste cuadrático

30 b b

b b

b b

20 b
b b

10 b

0
0 10 20 30 40

U. Amazonia, 2009-I
▽EFST– p.23/31
 Ajuste cuadrático

30 b b

b b

b b

20 b
b b

10 b

0
0 10 20 30 40

U. Amazonia, 2009-I
▽EFST– p.23/31
 Ajuste cuadrático

30 b b

b b

b b

20 b
b b

10 b

0
0 10 20 30 40

U. Amazonia, 2009-I
▽EFST– p.23/31
 Ajuste cuadrático

30 b b

b b

b b

20 b
b b

10 b

0
0 10 20 30 40

Ecuación cuadrática y = y = −0, 0491x2 + 1, 9334x + 10, 0866

U. Amazonia, 2009-I
▽EFST– p.23/31
 Ajuste cuadrático

30 b b

b b

b b

20 b
b b

10 b

0
0 10 20 30 40

Ecuación cuadrática y = −0, 0491x2 + 1, 9334x + 10, 0866

U. Amazonia, 2009-I
EFST– p.23/31
 MatLab

X = [0 2 4 6 8 12 16 20 24 28 30 34]
Y = [10 12 18 22 20 30 26 30 26 28 22 20 ]

p = polyfit(X,Y,1)
p =
0.3063 17.3028
p = polyfit(X,Y,2)
p =
-0.0491 1.9334 10.0866

U. Amazonia, 2009-I
EFST– p.24/31
 Regresión lineal múltiple

Se considera la función de ajuste

f (x, a, b, c) = a + bx1 + cx2

Para obtener los valores de a, b y c se utiliza el método

de los mínimos cuadrados y se minimiza la función S
definida por
n
X
S(a, b, c) = [yi − (a + bx1 + cx2 )]2 .
i=1

U. Amazonia, 2009-I
EFST– p.25/31
 Regresión múltiple

Para ello se calculan las derivadas parciales de S

respecto de a, b y c y se igualan a cero:
n
∂S X
= −2 [yi − (a+ bx1i + cx2i )] = 0
∂a
i=1
n
∂S X
= −2 [yi − (a + bx1i + cx2i )]x1i = 0
∂b
i=1
n
∂S X
= −2 [yi − (a + bx1i + cx2i )]x2i = 0.
∂c
i=1

U. Amazonia, 2009-I
EFST– p.26/31
 Como sistema:
 X   X X   
yi n x1i x2i
     a 
     
 X  X X X   
yi x1i  =  x1i x21i x1i x2i  ×  b 
   

   
  
      
 X  X X X 
yi x2i x2i x1i x2i x22i c

Con solución....

U. Amazonia, 2009-I
EFST– p.27/31
 Observaciones

Datos experimentales

X1 0,0 2,0 2,5 1,0 4,0 7,0

X2 0,0 1,0 2,0 3,0 6,0 2,0
Y 5,0 10 9,0 0,0 3,0 27

U. Amazonia, 2009-I
EFST– p.28/31
 Como sistema:
     
54 6 16,5 14 a
     
     
     
 243,5  = 16,5 76,25 48 ×  b 
     
     
     
100 14 48 54 c

Con solución....

U. Amazonia, 2009-I
▽EFST– p.29/31
 Como sistema:
     
54 6 16,5 14 a
     
     
     
 243,5  = 16,5 76,25 48 ×  b 
     
     
     
100 14 48 54 c

Con solución....
a=5 b=4 c= -3

U. Amazonia, 2009-I
EFST– p.29/31
 Consultar

Coeficiente de determinación
Coeficiente de correlación
Cálculo
Rango
Significado
Relación

U. Amazonia, 2009-I
EFST– p.30/31
 Regresión múltiple

U. Amazonia, 2009-I
EFST– p.31/31