Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Mnimos Cuadrados
UNIVERSIDAD DE SEVILLA
1
Puntos a Tratar
1. Introduccin.
4. Conclusiones.
5. Referencias.
2
Introduccin
El mtodo de Mnimos Cuadrados tiene
una larga historia que se remonta a
principios del siglo XIX.
Ceres
Sol
Tierra
Carl Friedrich Gauss
[1777- 1855]
3
Puntos a Tratar
1. Introduccin.
2. Mnimos cuadrados determinista.
2.1. Interpretacin geomtrica.
2.2. Aumentando el orden de la aproximacin.
2.3. Aumentando el nmero de observaciones.
2.4. Mnimos cuadrados con restricciones.
2.5. Dependencia no lineal.
3. Mnimos cuadrados estocstico.
3.1. Teorema de Gauss-Markov.
3.2. Interpretacin Geomtrica.
3.3. Teorema de Aitken.
4. Conclusiones.
5. Referencias.
4
Mnimos Cuadrados Determinista
e[n]
Notacin Vectorial.
Vector con los p parmetros de inters. = [1,, p ]T
s[n] Seal determinista dependiente de . s() = [s[0],, s[N-1] ]T
e[n] Ruido y desajustes del modelo. e() = [e[0],, e[N-1] ]T
x[n] Observaciones. x = [x[0],, x[N-1] ]T
5
Mnimos Cuadrados Determinista
Objetivo:
Buscar la mejor aproximacin
del sistema sobredeterminado x s( )
Minimizar J () = ||e()||2
Soluc. MCD = arg(min J ( ))
H = [h , , h ] matriz de observacin ( N p )
1 p
6
Dependencia Lineal
Solucin ( si rango(H T H ) = p )
J()
J ( )
= 2( x H )T H = 0
T J( ) estrict.
J ( )
T
convexa.
= 2HT H > 0 (def +)
T T
0
Seal estimada a partir de la mejor aproximacin?
-1
s = H = HH + x
-2
1
donde + 1
= (H H ) H
T T
Pseudoinve rsa de H
-2 0 2
7
Dependencia Lineal
Solucin ( si rango(H T H ) < p ) J ( )
T
= 2H H 0 (semidef +)
T
T T
Inf. Soluciones q n
= H + x + (I H + H )q
8
Ejemplo
Seal cuadrtica en ruido: x[n] = 1+ 2 n + 3 n2+e[n] 1 0 0
1 1 1
H = 1 2 22
x[n] 10
^s [n] 8
1 N N 2
6
10
4
* = 0.3
2
0.002
0
10.076
-2
= 0.299
-4
n 0.0020
0 20 40 60 80 100
s = H
9
9
Interpretacin Geomtrica
Principio de Ortogonalidad:
< e, h i >= 0 i = 1, , p.
El error mnimo e es ortogonal al subespacio (H) = {y : y = Hz z }
p
x
h2
e M (H )
e e x
e
0
h1 s h1 h2 s
10
*Interpretacin Geomtrica
Demostracin del principio de ortogonalidad:
J ( )
= 2eT H = 0T [h1 ,, h N ]T e = [0,,0]
T =
< e, h i >= 0 i = 1, , p.
s = H M ( H ) < e, s >= 0 .
11
11
Matrices de Proyeccin
Cmo es el operador que proyecta x sobre M(H)? y sobre M (H
)?
s = HH + x e = x s = (I HH + )x
M (H )
x x
e = PH x
0 0
s = PH x
M (H ) M (H )
12
12
Matrices de Proyeccin
Propiedades de las matrices de proyeccin ortogonal:
1. Son simtricas PH = PHT
2. Son idempotentes PH PH = PH
3. Sus autovalores 0 si el autovector asociado q i M ( H )
i =
1 si el autovector asociado q i M ( H )
s = PH1 x + PH 2 x
13
13
Aumentando el Orden
Sea k 1 = (H Tk 1H k 1 ) 1 H Tk 1x el estimador que nos da la mejor aproximacin
con k-1 parmetros. Cuando aadimos un nuevo parmetro tendremos
k = (H Tk H k ) 1 HTk x donde H k = [H k 1 , h k ]
H +k 1h k hTk Pk1x
k = k 1 con =
hTk Pk1h k
14
14
Aumentando el Orden
Deduccin geomtrica:
hk
La innovacin es la componente ~
hk
de hk ortogonal a M (H k 1 ) . M ( H k 1 )
0
x
~ M (H k )
h k s k Por qu es preferible
trabajar con la innovacin?
0 s k 1 M ( H k 1 )
~
s k = s k 1 + h k
De ambas ec. se despeja la
s k = H k k soluc. recursiva para k
15
15
*Aumentando el Orden
Deduccin detallada: ~ hk
h k = PHk 1 h k
M (H k 1 )
~
como M ([H k 1 , h k ]) M ([H k 1 , h k ])
h k = PH k 1 h k = H k 1.
~ ~
hk h ~
s k = P[ H ,h~ ] x = PH k 1 x + Ph~ x ~ x, ~ k = hk
k 1 k k hk hk
s k = H k 1k 1 + (h k H k 1. )
.
= (H k 1 , h k ) k 1
Hk k 16
16
Ejemplo
12
10
k=1
RE G RE S I N S E G N "K "
8
k=2
6 k=3,..,10
4
-2
-4
0 20 40 60 80 100
17
Ejemplo (continuacin)
40
COSTE MNIMO Jmin[p] 35 Constante
30
25
20 Lnea
15
Parbola
10
0
0 2 4 6 8 10
N. DE PARMETROS
18
Aumentando Observaciones
Sea [n 1] la estimacin a partir de los datos x[0], , x[n-1]. Si aadimos
un dato ms (x[n]), el nuevo estimador ser
x H[n 1]
[n] = (H T [n]H[n]) 1 H T [n]x n con x n = n 1 H[n] = T
x[ n] h [ n]
19
Aumentando Observaciones
Interpretacin de la solucin:
hT [n]
x[n] [n 1]
Prediccin basada en
los datos anteriores
20
20
Ejemplo
Media de una seal en ruido: x[n] = + e[n]
1 n 1
[n] =
n + 1 k =0
x[k ] [n] = [n 1] +
n +1
( x[n] [n 1])
1.1
1.05
0.95
M E DIA
0.9
0.85
0.8
0.75
0.7
0 10 20 30 40 50 60 70 80 90 100
M UE S TRA S
21
21
Ponderacin del Error
A veces nos interesa ponderar cada error por separado:
n
J ( ) = Wii e[i ] = (x H )T W ( x H )
2
donde W diagonal def +
i =0
x = W 2x
1
J ( ) = x H
2
H = W 2H
1
+
= H x = (HT WH ) 1 HT Wx
22
22
Restricciones Lineales
Otras veces, la aproximacin debe cumplir ciertas restricciones:
min J ( ) sujeto a A = b
L( ) = ( x H )T (x H ) + T ( A b)
L( )
=0
A b = 0
c = (H T H) 1 AT ( A(H T H) 1 AT ) ( A b)
23
23
Dependencia No Lineal
Qu podemos hacer cuando s( ) depende no linealmente con ?
Posibilidades:
A. Casos simples:
1. Transformacin de los parmetros.
2. Separabilidad de los parmetros.
B. Casos difciles:
3. Otros mtodos de minimizacin: NR, GN, etc.
24
24
Transformacin de Parmetros
. = g ( )
Univoca
Si g :
s[ n] lineal en .
. = (H T H ) H T x
1
= g 1 (. )
25
25
Ejemplo
Estimacin de la amplitud y fase de un coseno en ruido.
A cos 3
. =
x[n] = A cos(2I 0 n + 3) + e[n] A sin 3
= .1 cos 2I 0 n + .2 sin 2I 0 n + e[n] 1 0
cos 2I o sin 2I o
H=
cos 2 ( N 1) sin 2 ( N 1)
o I
o I
. = (H T H ) H T x
1
1.
A .1 + .2
2 2
2. =
3
arctan
(.. )1
2
26
26
Ejemplo (continuacin)
55
N = 100
f0 = 5Hz.
L NE S
CIO
A = 3 V.
AA
00
E
O B S ESRV
= 1 rad.
A 3.09
=
3 1.04
-5
-5
00 0.2
0.2 0.4
0.4 0.6
0.6 0.8
0.8 11
TIE
TIEM
MPPO
O
27
Separabilidad de Parmetros
Sea = (. T , T ) el problema se dice separable si
T
no lineal en
s = H (. )
lineal en
(
= H T (. ) H (. ) )
1
H T (. ) x
( )
J (., ) = xT I H (. )(H T (. ) H (. ) ) H T (. ) x
1
28
28
Otros mtodos
T
J
Iteracin de Newton-Raphson: busca los ceros de T
1
J J
Problemas de convergencia
T T
( k +1)
= (k )
T T T
= ( k )
H ( (k ) )
(
( k +1) = ( k ) + H T ( ( k ) ) H ( ( k ) ) )
1
(
H T ( ( k ) ) x s( ( k ) ) )
29
29
Puntos a Tratar
1. Introduccin.
2. Mnimos cuadrados determinista.
2.1. Interpretacin geomtrica.
2.2. Aumentando el orden de la aproximacin.
2.3. Aumentando el nmero de observaciones.
2.4. Mnimos cuadrados con restricciones.
2.5. Dependencia no lineal.
3. Mnimos cuadrados estocstico.
3.1. Teorema de Gauss-Markov.
3.2. Interpretacin Geomtrica.
3.3. Teorema de Aitken.
4. Conclusiones.
5. Referencias.
30
30
Mnimos Cuadrados Estocstico
Consideremos el modelo lineal de los datos x = H + e
31
31
Mnimos Cuadrados Estocstico
Criterio natural del optimalidad: MSE p (i | i )
i MSE = | sesgo | 2
+ v ar
i i i
E | i i |2 = | E [i ] i | 2 + E | i E [i ] |2
i
MSE = var = a Ti C e a i
i i
Objetivo:
Min
var
i i
sujeto a i lineal e insesgado i = 1, ,p
Min
a Ti C e a i
i
sujeto a a Ti h j = /ij ,p
i,j = 1,
32
32
Teorema de Gauss-Markov
33
33
Interpretacin Geomtrica
Proyeccin
Proyeccin
Oblcua.
x
s = HA x
H
(H)
34
34
Teorema de Aitken
x = C e 2 x
1
Ce = I +
= H x = (H T Ce1H ) 1 H T Ce1x
H = C e 2 H
1
35
35
Puntos a Tratar
1. Introduccin.
2. Mnimos cuadrados determinista.
2.1. Interpretacin geomtrica.
2.2. Aumentando el orden de la aproximacin.
2.3. Aumentando el nmero de observaciones.
2.4. Mnimos cuadrados con restricciones.
2.5. Dependencia no lineal.
3. Mnimos cuadrados estocstico.
3.1. Teorema de Gauss-Markov.
3.2. Interpretacin Geomtrica.
3.3. Teorema de Aitken.
4. Conclusiones.
5. Referencias.
36
36
Conclusiones Importantes
; MC determinista mtodo de aproximacin.
+ Interpretacin geomtrica y principio de ortogonalidad.
+ Innovacin soluc. recursivas.
Dependencia no lineal tcnicas de minimizacin.
; Ambos mtodos:
+ Simplicidad en las hiptesis estimador muy utilizado.
37
37
Conclusiones Futuras
38
38
Referencias
[Kay,93] Kay, Steven M., Fundamentals of Statistical Signal Processing:
Estimation Theory, Prentice Hall, 1993. ISBN: 0-13-345711-7.
Captulos 4,6 y 8.
[Luenberger,69] Luenberger, David G., Optimization by Vector Space Methods, John
Willey & Sons, 1969. SBN: 47155359x. Captulos 3 y 4.
[Kailath,00] Kaylath, T., Sayed, A.H., Hassibi, B., Linear Estimation,
Prentice Hall, 2000. ISBN: 0-13-022464-2. Captulos 1 y 2.
39
39