El mtodo de mnimos cuadrados

Curso de Estadstica
TAE, 2005
J.J. Gmez-Cadenas
Mnimos cuadrados y mxima verosimilitud
Teorema del lmite central
Una medida y, puede considerarse como un variable aleatoria, distribuida
gausianamente entorno a su valor verdadero !, siempre que el error total
sea la suma de un nmero grande de contribuciones pequeas.
Considerar un conjunto y
1
,y
2
,...y
N
de variables
aleatorias independientes relacionadas con otra
variable x
i
que se asume conocida sin error.
Cada y
i
tiene un valor medio !
i
(desconocido) y una
varianza "
i
2
(conocida)
Las N medidas de y
i
pueden considerarse como la
medida de un vector aleatorio N-dimensional con
pdf
g(y
1
,..., y
n
; !
1
,..., !
N
,"
1
2
,...,"
N
2
) =
1
2#"
i
2
i =1
N
$
exp(
%(y
i
% !
i
)
2
2"
i
2
)
Suponer adems que el valor verdadero de las y
i
es una funcin de la variable
x que depende de un vector de parmetros desconocido en principio.

! = !(x
i
;
!
"),
!
" = ("
1
,...,"
m
)
El objetivo del mtodo de mnimos cuadrados es estimar el vector de
parmetros #.
Adems, el mtodo permite evaluar la bondad con la que la funcin !(x,#)
ajusta los datos experimentales.
Para establecer el mtodo tomamos logaritmos en la pdf que describe los
datos:

log(g) = log
1
2!"
i
2
exp(
#(y
i
# $
i
)
2
2"
i
2
)
%
&
'
(
)
*
i =1
N
+
= A + log L(
!
,)
A = log
1
2!"
i
2
%
&
'
(
)
*
i =1
N
+
log L(
!
,) = #
1
2
(y
i
# $(x
i
;
!
,))
2
"
i
2
i =1
N
+
El principio de mxima verosimilitud establece que la pdf conjunta de las
medidas (y por lo tanto la verosimilitud L) es mxima para los parmetros
autnticos. Por lo tanto, para encontrar los parmetros maximizamos log L(#)
o bien minimizamos la cantidad:
Si las medidas no son independientes, pero pueden describirse por una pdf
conjunta gausiana, con matriz de covarianza conocida, la definicin anterior
se generaliza a:

!
2
(
!
") =
(y
i
# $(x
i
;
!
"))
2
%
i
2
i =1
N
&

!
2
(
!
") = (y
i
# $(x
i
;
!
"))
i, j =1
N
%
V
#1
( )
(y
j
# $(x
j
;
!
"))
Que reduce a la expresin anterior si la matriz de covarianza es diagonal
(medidas independientes)
Ajuste por mnimos cuadrados en el caso lineal
En el caso ms general, un problema de ajuste se reduce a uno de
minimizacin (del chi2). Sin embargo, cuando !(x;#) es una funcin
lineal de los parmetros el problema puede tratarse analticamente. Se
trata del caso:

!(x;
!
") = a
j
j =1
m
#
(x)"
j
donde a
j
(x) son funciones de x.
NB: Requerimos que !(x;#) sea lineal en los parmetros, no que las
funciones a
j
(x) sean lineales en x. Por ejemplo:

!(x;
!
") = e
#x
"
1
+ sin(x)"
2
+ x
2
"
3
lineal en
!
"
!(x;
!
") = x "
1
+"
2
2
+" no lineal en
!
"
El valor de la funcin !(x;#) en un punto dado xi es:

!(x
i
;
!
") = a
j
j =1
m
#
(x
i
)"
j
= A
ij
j =1
m
#
"
j
, A
ij
= a
j
(x
i
)
En este caso, la expresin general:

!
2
(
!
") = (y
i
# $(x
i
;
!
"))
i, j =1
N
%
V
#1
( )
(y
j
# $(x
j
;
!
"))
reduce a (en notacin matricial):

!
2
(
!
") = (
!
y #
!
$)
T
V
#1
(
!
y #
!
$) = (
!
y # A
!
")
T
V
#1
(
!
y # A
!
")
Para encontrar los parmetros minimizamos el chi2

!"
2
(
!
#) = $2(A
T
V
$1
!
y $ A
T
V
$1
A
!
#) = 0
Si ATV
-1
A no es singular podemos resolver para los parmetros

!
! = (A
T
V
"1
A)
"1
A
T
V
"1
!
y = B
!
y
Es decir los parmetros # son funciones lineales de las medidas y.
Para encontrar la matrix de covarianza de los parmetros propagamos
errores

!
! = (A
T
V
"1
A)
"1
A
T
V
"1
!
y = B
!
y
U = BVB
T
= (A
T
V
"1
A)
"1
Si !(x;#) es lineal en # el chi2 es cuadrtico en #. Expandiendo en Taylor
entorno a los parmetros (en el mnimo la derivada se anula):

!
2
(
!
") = !
2
(

") +
1
2
#
2
!
2
#"
i
#"
j
$
%
&
&
'
(
)
) i, j =1
m
*
" =
!
"
("
i
+

"
i
)("
j
+

"
j
)
= !
2
(

") + U
ij
+1
i, j =1
m
*
Por lo tanto :

!
2
(
!
") = !
2
(

") +1 = !
min
2
+1#

" $

"

%
Corresponde a los contornos en el espacio de parmetros cuyas tangentes se
separan una desviacin estndar de los parmetros estimados en el mnimo
Ejemplo: Ajuste a un
polinomio
Calidad de un ajuste
Si en nuestro problema:
Los datos yi, i=1,2,...N son gausianos
la hiptesis !(x;#) es lineal en los parmetros #
i
, i=1,2,...,m
La pdf que describe la hiptesis (el modelo ) !(x;#) ) es correcta:
Entonces el $
2
min
sigue una distribucin Chi2 con nd = N-m grados de libertad
El valor-P o nivel de confianza es, por definicin:
P = f (z; n
d
!
2
+"
#
)dz
Donde f(z;nd) es la distribucin Chi2 con nd grados de libertad.
Ajuste al polinomio con 2 parmetros
Ajuste al polinomio con 1 parmetro
Simulacin MC del ajuste a 2
parmetros. 26.3 % de las veces
el ajustes tendr un c2min ms
alto.
Calidad del ajuste vs errores pequeos
El hecho de que un ajuste arroje errores pequeos no implica que el ajuste sea
bueno (ni al contrario)
Curvatura del $
2
cerca del mnimo --> tamao del error (estadstico)
Valor del c2min --> calidad del ajuste
Si en el ajuste polinmico del ejemplo movemos los puntos para alinearlos ms e
concordancia con la hiptesis de una recta con pendiente nula (manteniendo el
tamao de los errores)
La varianza del estimador (su error estadstico) nos dice:
Si el experimento se repite muchas veces cual es la dispersin entorno al
valor estimado q.
No nos dice si la hiptesis es correcta.
El valor-P (nivel de confianza, probablidad del c2) nos dice:
Si la hiptesis es correcta y el experimento se repite muchas veces, que
fraccin de los sucesos arrojar igual o peor acuerdo entre los datos y la
hiptesis, de acuerdo con el c2min.
Un valor pequeo de P implica que la hiptesis es falsa o bien que hay
errores sistemticos que no se han tomado en cuenta.
Mnimos cuadrados con datos binados
MCM se usa muy a menudo (es ms cmodo) pero el problema es que el
c2min resultante no tiene porqu estar distribuido c2 (podemos perder la
capacidad de decidir sobre la calidad del ajuste

Ajuste por mnimos cuadrados: Minimiza la cantidad:
!
2
(
!
") =
(y
i
# $
i
(
!
"))
2
%
i
2
i =1
N
&
=
(y
i
# $
i
(
!
"))
2
$
i
(
!
")
i =1
N
&
=
(y
i
# np
i
(
!
"))
2
np
i
(
!
")
i =1
N
&
Alternativamente (Mnimos cuadrados modificado)
!
2
(
!
") =
(y
i
# $
i
(
!
"))
2
%
i
2
i =1
N
&
=
(y
i
# $
i
(
!
"))
2
y
i i =1
N
&
=
(y
i
# np
i
(
!
"))
2
y
i i =1
N
&
Considerar un histograma con N
bines y n entradas al que queremos
ajustar un cierto modelo (es decir
una hipottica pdf f(x; q)
Combinacin de medidas por mnimos cuadrados
Suponer que una cantidad de valores desconocido l ha sido medida N veces (en
N experimentos diferentes), resultando en yi, si, i=1,2,...,N independientes.
Puesto que l es el mismo para todos los experimentos, l(x) = cte y por tanto:
!
2
(") =
(y
i
# ")
2
$
i
2
i =1
N
%
&!
2
&"
= #2
(y
i
# ")
$
i
2
i =1
N
%
= 0 '

" =
y
i
/ $
i
2
i =1
N
%
1 / $
j
2
j =1
N
%
Que no es sino la media pesada de las medidas.
La varianza se obtiene a partir de la segunda derivada:
V[

!] =
1
1 / "
j
2
j =1
N
#
Cuando las medidas yi no son todas independientes, pero la matriz de covarianza
V se conoce, el procedimiento se generaliza fcilmente. Partiendo de:
!
2
(") = (y
i
# ")V
ij
#1
i, j =1
N
$
(y
j
# ")
Y repitiendo el procedimiento de cancelar la derivada obtenemos:

! = w
i
i =1
N
"
y
i
, w
i
=
V
ij
#1
j =1
N
"
V
kl
#1
k,l =1
N
"
, w
i
i =1
N
"
= 1
La varianza se obtiene anlogamente:

V[

!] = w
i
i, j =1
N
"
V
ij
w
j
#V[

!] =
!
w
T
V
!
w