Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Lectura MMC PDF
Lectura MMC PDF
Mnimos Cuadrados
Puntos a Tratar
1. Introduccin.
2. Mnimos cuadrados determinista.
3. Mnimos cuadrados estocstico.
4. Conclusiones.
5. Referencias.
Introduccin
El mtodo de Mnimos Cuadrados tiene
una larga historia que se remonta a
principios del siglo XIX.
Ceres
Sol
Carl Friedrich Gauss
[1777- 1855]
Tierra
Puntos a Tratar
1. Introduccin.
2. Mnimos cuadrados determinista.
2.1. Interpretacin geomtrica.
2.2. Aumentando el orden de la aproximacin.
2.3. Aumentando el nmero de observaciones.
2.4. Mnimos cuadrados con restricciones.
2.5. Dependencia no lineal.
3. Mnimos cuadrados estocstico.
3.1. Teorema de Gauss-Markov.
3.2. Interpretacin Geomtrica.
3.3. Teorema de Aitken.
4. Conclusiones.
5. Referencias.
4
Modelo de
Seal
e[n]
s[n]
s[n]
e[n]
x[n]
Notacin Vectorial.
Vector con los p parmetros de inters.
= [1,, p ]T
Seal determinista dependiente de . s() = [s[0],, s[N-1] ]T
Ruido y desajustes del modelo.
e() = [e[0],, e[N-1] ]T
x = [x[0],, x[N-1] ]T
Observaciones.
5
J () = ||e()||2
Soluc. MCD
= arg(min J ( ))
*Mtodo
Dependencia lineal
s( ) = H
H = [h , , h ] matriz de observacin ( N p )
1
Dependencia Lineal
Solucin
J()
( si rango(H T H ) = p )
J ( )
= 2( x H )T H = 0
T
T
J ( )
= 2HT H > 0 (def +)
T T
J( ) estrict.
convexa.
= (H H ) H
T
Pseudoinve rsa de H
22
1
0
-1
-2
-2
1
0
Dependencia Lineal
Solucin
( si rango(H T H ) < p )
J ( )
T
= 2H H 0 (semidef +)
T T
J()
Inf. Soluciones q n
= H + x + (I H + H )q
Soluc. particular
Soluc. homognea
s = H = HH + x
8
Ejemplo
Seal cuadrtica en ruido:
x[n] = 1+ 2 n + 3 n2+e[n]
x[n] 10
^s [n] 8
6
1 0
1 1
H = 1 2
1 N
1
22
N 2
10
* = 0.3
0.002
4
2
0
-2
-4
0
20
40
60
80
100
10.076
= 0.299
0.0020
s = H
9
Interpretacin Geomtrica
Principio de Ortogonalidad:
e
x
h2
M (H )
e
(H) = {y : y = Hz z }
p
e
e
0
h1
h1
h2
(H)
10
10
*Interpretacin Geomtrica
Demostracin del principio de ortogonalidad:
J ( )
= 2eT H = 0T
T =
< e, s >= 0 .
11
11
Matrices de Proyeccin
Cmo es el operador que proyecta x sobre M(H)? y sobre M (H
)?
e = x s = (I HH + )x
s = HH + x
M (H )
0
M (H )
s = PH x
e = PH x
M (H )
12
Matrices de Proyeccin
Propiedades de las matrices de proyeccin ortogonal:
1. Son simtricas
PH = PHT
2. Son idempotentes
PH PH = PH
3. Sus autovalores
0 si el autovector asociado q i M ( H )
i =
1 si el autovector asociado q i M ( H )
s = PH1 x + PH 2 x
13
13
Aumentando el Orden
Sea k 1 = (H Tk 1H k 1 ) 1 H Tk 1x el estimador que nos da la mejor aproximacin
con k-1 parmetros. Cuando aadimos un nuevo parmetro tendremos
k = (H Tk H k ) 1 HTk x
donde
H k = [H k 1 , h k ]
con
=
hTk Pk1x
hTk Pk1h k
14
14
Aumentando el Orden
Deduccin geomtrica:
La innovacin es la componente
de hk ortogonal a M (H k 1 ) .
hk
~
hk
M ( H k 1 )
0
x
~
h k
s k
s k 1
~
s k = s k 1 + h k
s k = H k k
M (H k )
Por qu es preferible
trabajar con la innovacin?
M ( H k 1 )
15
*Aumentando el Orden
M (H k 1 )
h k = PH k 1 h k = H k 1.
~
hk
~
hk
s k = P[ H ,h~ ] x = PH k 1 x + Ph~ x
k 1
hk
~
h k = PHk 1 h k
Deduccin detallada:
~
h
x, ~ k
hk
~
= hk
s k = H k 1k 1 + (h k H k 1. )
.
= (H k 1 , h k ) k 1
Hk
k
16
16
Ejemplo
12
RE G RE S I N S E G N "K "
10
k=1
k=2
k=3,..,10
8
6
4
2
0
-2
-4
0
20
40
60
80
100
17
Ejemplo (continuacin)
40
35
Constante
30
25
Lnea
20
15
Parbola
10
5
0
4
6
8
N. DE PARMETROS
10
18
Aumentando Observaciones
Sea [n 1] la estimacin a partir de los datos x[0], , x[n-1]. Si aadimos
un dato ms (x[n]), el nuevo estimador ser
[n] = (H T [n]H[n]) 1 H T [n]x n
con
x
x n = n 1
x[ n]
H[n 1]
H[n] = T
h [ n]
donde
K [n] =
19
Aumentando Observaciones
Interpretacin de la solucin:
[n] = [n 1] + K [n] ( x[n] x[n])
Innovacin
Correccin basada en
la nueva informacin.
Nuevo dato
x[n]
K[n]
[n]
+
+
z-1
hT [n]
x[n]
Prediccin basada en
los datos anteriores
[n 1]
20
20
Ejemplo
x[n] = + e[n]
1 n
1
x[k ] [n] = [n 1] +
[n] =
( x[n] [n 1])
n + 1 k =0
n +1
1.1
1.05
1
M E DIA
0.95
0.9
0.85
0.8
0.75
0.7
0
10
20
30
40
50
60
70
80
90
100
M UE S TRA S
21
21
J ( ) = Wii e[i ] = (x H )T W ( x H )
2
donde
W diagonal def +
i =0
H = W 2H
1
J ( ) = x H
+
= H x = (HT WH ) 1 HT Wx
22
22
Restricciones Lineales
Otras veces, la aproximacin debe cumplir ciertas restricciones:
min J ( ) sujeto a A = b
L( )
=0
A b = 0
c = (H T H) 1 AT ( A(H T H) 1 AT ) ( A b)
23
23
Dependencia No Lineal
Qu podemos hacer cuando s( ) depende no linealmente con ?
Posibilidades:
A. Casos simples:
1. Transformacin de los parmetros.
2. Separabilidad de los parmetros.
B. Casos difciles:
3. Otros mtodos de minimizacin: NR, GN, etc.
24
24
Transformacin de Parmetros
Univoca
. = g ( )
Si g :
s[ n] lineal en .
. = (H T H ) H T x
1
= g 1 (. )
25
25
Ejemplo
Estimacin de la amplitud y fase de un coseno en ruido.
A cos 3
. =
A sin 3
1
0
sin 2I o
cos 2I o
H=
cos 2 ( N 1) sin 2 ( N 1)
o
o
1.
. = (H T H ) H T x
1
.1 + .2
A
2. =
arctan
(.. )
3
26
26
Ejemplo (continuacin)
55
A = 3 V.
= 1 rad.
A 3.09
=
3 1.04
E
L NE S
O B S ESRV
AA
CIO
N = 100
f0 = 5Hz.
00
-5
-5
00
0.2
0.2
0.4
0.4
0.6
0.6
TIE
TIEM
MPPO
O
0.8
0.8
11
27
Separabilidad de Parmetros
Sea = (. T , T ) el problema se dice separable si
T
s = H (. )
no lineal en
lineal en
= H T (. ) H (. )
H T (. ) x
1
J (., ) = xT I H (. )(H T (. ) H (. ) ) H T (. ) x
28
28
Otros mtodos
J
T
( k +1)
=
(k )
T
T
T
J J
T T
= ( k )
s[n; ( k ) ]
(k )
T
= ( k )
H ( (k ) )
( k +1) = ( k ) + H T ( ( k ) ) H ( ( k ) )
H T ( ( k ) ) x s( ( k ) )
Problemas de convergencia
)
29
29
Puntos a Tratar
1. Introduccin.
2. Mnimos cuadrados determinista.
2.1. Interpretacin geomtrica.
2.2. Aumentando el orden de la aproximacin.
2.3. Aumentando el nmero de observaciones.
2.4. Mnimos cuadrados con restricciones.
2.5. Dependencia no lineal.
3. Mnimos cuadrados estocstico.
3.1. Teorema de Gauss-Markov.
3.2. Interpretacin Geomtrica.
3.3. Teorema de Aitken.
4. Conclusiones.
5. Referencias.
30
30
x = H + e
Ventaja frente a ML y
tcnicas Bayesianas.
31
31
| sesgo |
i
E | i i |2 = | E [i ] i | 2 +
Estimador lineal
MSE
p (i | i )
v ar
E | i E [i ] |2
i
MSE = var = a Ti C e a i
i
Objetivo:
Min
var
sujeto a
Min
a Ti C e a i
sujeto a
i
i
,p
i lineal e insesgado i = 1,
a Ti h j = /ij
,p
i,j = 1,
32
32
Teorema de Gauss-Markov
Si los datos siguen el modelo lineal y el error tiene media cero y
matriz de covarianza Ce = 1 e2 I el ptimo estimador Lineal e
Insesgado de Mmima Varianza de los parmetros es
= (H T H) 1 H T x
T
2
1
y C = 1 e (H H )
33
33
Interpretacin Geomtrica
Proyeccin
Proyeccin
Oblcua.
x
s = HA x
(H)
La proyeccin min Cs i min C i
i
34
34
Teorema de Aitken
Si los datos siguen el modelo lineal y el error tiene media cero y
matriz de covarianza Ce el ptimo estimador Lineal e Insesgado de
Mmima Varianza de los parmetros es
= (HT Ce1H ) 1 H T Ce1x y
C = (H T Ce1H ) 1
Ce = I
+
= H x = (H T Ce1H ) 1 H T Ce1x
35
35
Puntos a Tratar
1. Introduccin.
2. Mnimos cuadrados determinista.
2.1. Interpretacin geomtrica.
2.2. Aumentando el orden de la aproximacin.
2.3. Aumentando el nmero de observaciones.
2.4. Mnimos cuadrados con restricciones.
2.5. Dependencia no lineal.
3. Mnimos cuadrados estocstico.
3.1. Teorema de Gauss-Markov.
3.2. Interpretacin Geomtrica.
3.3. Teorema de Aitken.
4. Conclusiones.
5. Referencias.
36
36
Conclusiones Importantes
; MC determinista
mtodo de aproximacin.
+ Interpretacin geomtrica y principio de ortogonalidad.
+ Innovacin
soluc. recursivas.
Dependencia no lineal
tcnicas de minimizacin.
; MC estocstico
mtodo de estimacin.
+ Caracterizacin parcial.
+ Equivalencia matemtica entre las soluc MCD y el MCE.
Interpretacin diferente de MCD!
; Ambos mtodos:
+ Simplicidad en las hiptesis
37
Conclusiones Futuras
+ Otra versin estocstica del mtodo
de MC considera a como una v.a.
38
38
Referencias
[Kay,93]
[Luenberger,69]
[Kailath,00]
[Haykin,96]
[Mendel, 95]
[Stuard,91]
39