Está en la página 1de 32

4o Ingeniera de Telecomunicacion

Tema 3: Estimadores clasicos


(ML, MoM, LS)
I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Indice

Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Maxima
Verosimilitud

populares de estimacion
es el metodo

Uno de los metodos


mas
de Maxima Verosimilitud o Maximum Likelihood (ML), estudiado
por Ronald A. Fisher (1890-1962)

De entre todos los posibles valores del parametro


a estimar,

escoger aquel que tiene maxima


probabilidad de haber
generado las observaciones
Estimador ML
M L = argmaxf (x|)
Considera determinista

Necesitamos conocer la distribucion


del ruido

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Problema: estimar (determinista) a partir de x = + r, siendo


r N (0, 2 )
es el valor mas
probable de si hemos observado x y
Cual
sabemos que el ruido es Gaussiano?

f ( x | )

Una funcin de

Idea importante
Para encontrar el estimador ML hay que interpretar f (x|) como una
de (desconocido) para un valor concreto de x (conocido)
funcion

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Ejemplo I
Obtener el estimador ML de una constante, A (determinista), a
partir de N observaciones de la misma en ruido AWGN
(r[n] N (0, 2 ))
n = 0, . . . , N 1

x[n] = A + r[n],
Calculamos la verosimilitud f (x|A)
f (x|A) =

1
(2)N/2 N

1
exp 2
2

N
1
X

!
2

(x[n] A)

n=0

El estimador ML es
AM L = argmaxf (x|A) = argmax ln (f (x|A))
AM L = argmax

N
1
X

(x[n] A)

n=0

Tema 3: Estimadores clasicos


(ML, MoM, LS)

!
2

= argmin

N
1
X

(x[n] A)2

n=0
I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Tomando derivadas e igualando con respecto a cero, obtenemos


N 1
1 X
ln (f (x|A))
= 2
(x[n] A) = 0
A
n=0

N 1
1 X
AM L =
x[n]
N n=0

El estimador ML bajo ruido AWGN es la media de las


observaciones
Ya lo hemos caracterizado con anterioridad, sabemos que es
insegado y que su varianza es 2 /N

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Ejemplo II
Obtener el estimador ML de la varianza 2 de un ruido AWGN a
partir de N observaciones independientes x[n] N (0, 2 )

Calculamos la log verosimilitud ln f (x| 2 )

N
N
1
ln f (x| ) = ln(2)
ln( 2 ) 2
2
2
2
2

N
1
X

!
2

(x[n])

n=0

Tomado derivadas (con respecto a 2 ) e igualando a cero el


estimador ML resulta
2

M
L =

N 1
1 X
(x[n])2
N n=0

Insesgado? Cual
es su varianza?

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Ejemplo III
Observamos N realizaciones independientes de una v.a.
impulsiva cuya fdp modelamos como una mezcla de Gaussianas
x[n] (1 )N (0, 12 ) + N (0, 22 )
12 y 22 son conocidos, queremos obtener el estimador ML de 
Para este problema la verosimilitud es
f (x|) =

N
1 
Y
n=0

1

x[n]2
x[n]2

exp
+
exp

212
222
21
22

Tomado derivadas con respecto a  e igualando a cero en este


caso obtenemos un polinomio de grado N 1
es necesario
No podemos calcular de manera analtica la solucion,

emplear tecnicas
numericas
de las N 1 races del polinomio
Deberamos comprobar cual
maximiza la verosimilitud

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Propiedades de los estimadores ML


En general, los estimadores ML no cumplen ningun
criterio de

optimalidad, pero si los cumplen asintoticamente


(cuando el
numero
de observaciones tiende a infinito)

Asintoticamente
son insesgados
h
i
lm E M L =
N

Asintoticamente
alcanzan el lmite de Cramer-Rao (son eficientes)


lm var M L = CR()
N

Propiedad de invarianza: Si estamos interesados en una


del parametro,

transformacion
= g(), entonces



M L = g M L

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Otros ejemplos
x[n] = A + r[n], r[n] N (0, 2 ), pero ahora la amplitud y la
varianza son desconocidos
Queremos obtener la estima ML del vector = [A, 2 ]
ln (f (x|))
=0
A
ln (f (x|))
=0
2

Resolviendo el sistema de dos ecuaciones con dos incognitas


obtenemos
N 1
1 X
AM L =
x[n]
N n=0
2

M
L =

Tema 3: Estimadores clasicos


(ML, MoM, LS)

N 1
2
1 X
x[n] AM L
N n=0
I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

del tiempo de llegada


Estimacion
Observamos una forma de onda conocida en ruido (AWGN),
pero no sabemos el instante de comienzo, n0 (discreto)
M

n0

n0 + M 1

N 1

x[n] = r[n] + s[n n0 ]

M 1

s[n]

La log verosimilitud es
N 1
N
1 X 2
1
1
ln f (x|n0 ) = ln(2) 2
x [n] 2 E+ 2
2
2 n=0
2

n0 +M
X1

x[n]s[nn0 ]

n=n0

Tenemos que correlar para todos los n0 y buscar el maximo


n
0 = argmax

n0 +M
X1

x[n]s[n n0 ]

n=n0

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Indice

Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Metodo
de los momentos

Metodo
de los momentos o Method of Moments (MoM)
No cumple ningun
criterio de optimalidad
Como en ML necesitamos conocer f (x|)
Suponemos que disponemos de observaciones x[0], . . . , x[N 1]

La idea basica
es formar ecuaciones igualando los momentos

(centrados o no) teoricos


y los estimados mediante medias
muestrales (sample mean)
N 1


1 X
k
E (x[n])k =
(x[n])
N n=0

Tema 3: Estimadores clasicos


(ML, MoM, LS)

k = 1, 2, . . .

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Ejemplo I
Observamos N realizaciones independientes de una v.a.
impulsiva cuya fdp modelamos como una mezcla de Gaussianas
x[n] (1 )N (0, 12 ) + N (0, 22 )
12 y 22 son conocidos, queremos estimar 
Vimos que el estimador ML para este problema era difcil de
obtener; con el MoM, sin embargo, se puede obtener un
estimador sencillo

Comenzamos calculando el momento teorico


de orden 1 (la
media)
E [x[n]] = 0

Como la media no depende del parametro


estimar , la ecuacion
resultante no nos es util

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Para el momento teorico


de orden 2 se obtiene


E (x[n])2 = (1 )12 + 22
que depende linealmente de  (las varianzas se suponen
conocidas)

Igualando el momento teorico


y el estimado con la media
muestral se obtiene
(1 )12 + 22 =

N 1
1 X
2
(x[n])
N n=0

despejando  obtenemos el siguiente estimador


Estimador de  con el MoM
 =

1
N

PN 1

2
n=0 (x[n])
22 12

12

Esta sesgado?

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Ejemplo II
Observamos N realizaciones independientes de una v.a.
uniforme x[n] U [, ]
Queremos estimar y
Los estimadores ML de estas cantidades son

M L = mn(x[0], . . . , x[N 1]) y M L = m


ax(x[0], . . . , x[N 1])
Para obtener los estimadores mediante el MoM comenzamos
calculando el momento de orden 1
E [x[n]] =

+
2

igualando este valor a su media muestral m1 =

obtenemos una primera ecuacion

1
N

PN 1
n=0

x[n]

+
= m1
2

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Repetimos el procedimiento con el momento de orden 2




3 3
1
E (x[n])2 =
= (2 + 2 + )
3( )
3
igualandolo a la media muestral m2 =

obtenemos una segunda ecuacion

1
N

PN 1
n=0

(x[n])2

1 2
( + 2 + ) = m2
3
Hemos obtenido as dos ecuaciones (una de ellas lineal y la otra

cuadratica)
con dos incognitas
que podemos resolver facilmente

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Indice

Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Metodo
de mnimos cuadrados (LS)
Mnimos cuadrados o Least Squares (LS): Propuesto por Carl
Friedrich Gauss hacia 1794

Nuevamente, los parametros


a estimar son considerados
determininistas
La novedad consiste es que no es necesario conocer la
verosimilitud, f (x|), que indirectamente supone conocer la
estadstica del ruido
distribucion
Fundamentalmente sirve para resolver sistemas de ecuaciones
sobredeterminados
Como veremos, esta muy relacionado con ML bajo ruido blanco
y Gaussiano (AWGN).
LS
Minimizar las diferencias al cuadrado entre las observaciones y lo
que observaramos en ausencia de ruido

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Ejemplo I
x[n] = A + r[n], n = 0, . . . , N 1
del ruido
No suponemos nada sobre la distribucion
de coste LS es
La funcion
J(A) =

N
1
X

(x[n] A)

n=0

de coste con
Para obtener el estimador derivamos la funcion
respecto a A, e igualamos a cero
N
1
X
dJ(A)
= 2
(x[n] A) = 0
dA
n=0

Estimador LS de A
N 1
1 X
ALS =
x[n]
N n=0

que coincide con el estimador ML bajo ruido AWGN

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Ejemplo II
Estima de la frecuencia de una sinusoide
x[n] = cos(2f0 n) + r[n],

n = 0, . . . , N 1

de coste LS es
La funcion
J(f0 ) =

N
1
X

(x[n] cos(2f0 n))

n=0

Derivando e igualando a cero


N
1
X
dJ(f0 )
=2
(x[n] cos(2f0 n)) sin(2f0 n) = 0
df0
n=0

no lineal y, para resolverla,


En este caso resulta una ecuacion

necesitaramos aplicar algun


procedimiento
de optimizacion

numerica
LS resulta especialmente interesante cuando el modelo entre las

observaciones y los parametros


a estimar es lineal

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Caso lineal
cuadratica

Consideramos como ejemplo el ajuste de una funcion


parametrizada a unas observaciones
x[n] = 1 n2 + 2 n + 3 + r[n],

n = 0, . . . , N 1

es no lineal, la relacion
entre las
Aunque la funcion

observaciones y los parametros


del modelo es lineal
x[n] = 1n 2 + 2 n + 3 + r[n],

i
x[1]

n =1

i i

n = 0, , N 1

1
= 2
3
n

En primer lugar formularemos el problema de manera matricial y


LS
luego derivaremos la solucion

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Podemos reescribir las N ecuaciones de manera matricial

x[0]
0
0
1
r[0]
x[1]
r[1]
1
1
1

x[2]

4
2
1

=
2 + r[2]

..
..
..
..
..

.
.
. 3
.
.
x[N 1]

(N 1)2

(N 1)

r[N 1]

compacta (y general)
o, de manera, mas
Modelo lineal
x = H + r
donde H es una matriz N p conocida, es un vector p 1 que

agrupa a los parametros


desconocidos, r es un vector N 1 que
y x es el vector N 1 con las
modela los errores en cada ecuacion
observaciones
LS que minimiza ||r||2 = rT r (la norma
El estimador LS es el valor
Euclidea al cuadrado del vector)

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

pseudoinversa
Solucion:
de coste es
La funcion
J() = rT r = (x H)T (x H) = xT x xT H T HT x + T HT H
J() = xT x 2xT H + T HT H
p-dimensional, tenemos que calcular la derivada con
J() es una funcion
respecto a cada una de las componentes del vector (gradiente) e igualar a
cero


J( )
0

.
J() = .. = ...

J( )
0
p

J() = 2H H 2HT x = 0
Pseudoinversa

1
LS = HT H

HT x = H] x
1 T
H] = HT H
H se denomina el operador pseudoinversa. En Matlab se
calcula con el comando pinv.

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

En el ejemplo anterior, x[n] = 1 n2 + 2 n + 3 + r[n], si


disponemos de 4 observaciones: n = 0, 1, 2, 3

0 0 1
1 1 1

H=
4 2 1
9 3 1

20

1
1
60
HT H
=
80
20

60
196
84

20
84
76

y, por lo tanto, la pseudoinversa es

20 20 20 20

1
1
84 52
68 36
HT =
H] = HT H
80
76
12 12
4

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

El estimador LS de los parametros


es

LS

x[0]
1
20 20 20 20
1
x[1]

84 52
68 36
= 2 =

x[2]
80

76
12
12
4
3
x[3]

Por ejemplo,
1
(20x[0] 20x[1] 20x[2] + 20x[3])
1 =
80
LS podramos, por ejemplo, extrapolar la serie y
A partir de
estimar (predecir) el valor que ha de tomar x[4]
x
[4] = 161 + 42 + 3

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Modelo lineal bajo ruido AWGN


Si x = H + r, y r N (0, 2 I), entonces se cumplen una serie
importante de propiedades
1

El estimador ML y el LS son identicos:


LS =
M L = H] x

Esta insesgado
h
i

1
LS = H] E [x] = HT H
E
HT H =

Su matriz de covarianza es


T 

1
LS
LS
E
= 2 HT H

El estimador es eficiente, alcanza el lmite de Cramer-Rao (es el


de mnima varianza)
Es el estimador BLUE (Best Unbiased Linear Estimator)

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Principio de ortogonalidad

Conocida la matriz H, se puede obtener la estima de la senal


LS
= H
como x
El estimador LS hace que la estima sea ortogonal al error o, de

otra manera, el error ha de ser ortogonal al subespacio de senal


x
e = x x = x H
x = H

S
Subespacio formado por
las columnas de H = h1 hp

HT e = HT (x H) = 0

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

El principio de ortogonalidad conduce a la ecuaciones normales


HT H = HT x
adelante en la asignatura
que veremos (varias veces) mas
Dos ultimos
detalles

de coste cuando
El error cuadratico
mnimo (valor de la funcion
LS ) es
substituimos por



1
T
T
T
LS
Jmin = x
H
IH H H
x = xT x xT H

En problemas con variables complejas el estimador LS es



1
LS = HH H

HH x = H] x
donde ()H denota ahora Hermtico (transpuesto y conjugado)

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Un ultimo
ejemplo

Estima LS de la amplitud, A, y fase, , de un tono de frecuencia


conocida en ruido
x[n] = A cos(0 n + ) + r[n],

n = 0, . . . , N 1

En principio, puede parecer que la dependencia de los

parametros
a estimar con las observaciones es no lineal, pero
podemos reescribir el problema como
x[n] = A cos(0 n) cos()A sin(0 n) sin()+r[n],

n = 0, . . . , N 1

y denominando a = A cos() y b = A sin(), el problema queda


x[n] = a cos(0 n) + b sin(0 n) + r[n],

n = 0, . . . , N 1

Una vez obtenidas las estimas LS de a y b, las estimas de A y


se calculan como
!
q
bLS
ALS = a
2LS + b2LS ,
LS = arctan
a
LS

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Escribimos el problema de manera matricial

1
0
x[0]
r[0]

 
cos(
)
sin(
)
0
0
x[1]

r[1]
a

cos(20 )

sin(20 )
+

..
..
b

..
..
.
.

.
.
r[N 1]
x[N 1]
cos((N 1)0 ) sin((N 1)0 )
compacta
o de forma mas
x = H + r
LS
Una vez expresado de esta manera, sabemos que la solucion
viene dada por la pseudoinversa

LS = HT H 1 HT x = H] x

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara


Maxima
Verosimilitud

Metodo
de los momentos

Least Squares

Conclusiones
Hay dos estimadores principales que consideran la variable a
estimar determinista: ML y LS
ML
1

Obtener la estima que con mayor probabilidad ha generado las


observaciones
del ruido (para calcular la
Necesitamos el modelo y la distribucion
verosimilitud)

Asintoticamente
optimo

LS
1
2
3
4

del ruido
No necesita la distribucion
En el caso lineal Pseudoinversa
Coincide con el ML bajo ruido AWGN (BLUE)
Principio de ortogonalidad

MoM
1

Igualar los momentos teoricos


con los estimados mediante la
media muestral
En ciertos problemas conduce a estimadores sencillos, pero no es

optimo
bajo ningun
criterio

Tema 3: Estimadores clasicos


(ML, MoM, LS)

I. Santamara