Está en la página 1de 83

EL7002 - Estimacin y Deteccin

Clase No.1: Introduccin

Patricio Parada
Departamento de Ingeniera Elctrica Universidad de Chile

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

1/37

Contenidos de la Clase I
Introduccin Problema de Estimacin Buenos estimadores Modelos para datos Estimacin clsica Desempeo de un Estimador Introduccin Estimadores Insesgados
P. Parada, DIE-UCh EL7002, Clase No.1: Introduccin 2/37

Contenidos de la Clase II

Distribucin de un Estimador

Resumen y Lecturas

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

3/37

Nota Inicial (1)


Este es el primer curso en este departamento que considera de manera formal y sistemtica los problemas de Procesamiento Estadstico de Seales.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

4/37

Nota Inicial (1)


Este es el primer curso en este departamento que considera de manera formal y sistemtica los problemas de Procesamiento Estadstico de Seales. Aunque los tpicos que cubriremos en este curso han sido tratados parcialmente en otros cursos, nos concentraremos en las tcnicas y algoritmos de deteccin y estimacin que puedan ser aplicados en problemas de ingeniera.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

4/37

Nota Inicial (1)


Este es el primer curso en este departamento que considera de manera formal y sistemtica los problemas de Procesamiento Estadstico de Seales. Aunque los tpicos que cubriremos en este curso han sido tratados parcialmente en otros cursos, nos concentraremos en las tcnicas y algoritmos de deteccin y estimacin que puedan ser aplicados en problemas de ingeniera. El procesamiento estadstico de seales es una subdisciplina del procesamiento de seales dedicado a dos objetivos:

la extraccin de informacin de seales, posiblemente ruidosas. la deteccin de seales - determinsticas o aleatorias - en presencia de ruido.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

4/37

Nota Inicial (2)


La relevancia de los temas de este curso va ms all de los mbitos de la teora de informacin y comunicaciones, y abarca reas de importancia estratgica como:

defensa: radar y formacin de imgenes

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

5/37

Nota Inicial (2)


La relevancia de los temas de este curso va ms all de los mbitos de la teora de informacin y comunicaciones, y abarca reas de importancia estratgica como:

defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

5/37

Nota Inicial (2)


La relevancia de los temas de este curso va ms all de los mbitos de la teora de informacin y comunicaciones, y abarca reas de importancia estratgica como:

defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes minera: prospeccin no invasiva

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

5/37

Nota Inicial (2)


La relevancia de los temas de este curso va ms all de los mbitos de la teora de informacin y comunicaciones, y abarca reas de importancia estratgica como:

defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes minera: prospeccin no invasiva comunicaciones digitales

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

5/37

Nota Inicial (2)


La relevancia de los temas de este curso va ms all de los mbitos de la teora de informacin y comunicaciones, y abarca reas de importancia estratgica como:

defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes minera: prospeccin no invasiva comunicaciones digitales control automtico

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

5/37

Nota Inicial (2)


La relevancia de los temas de este curso va ms all de los mbitos de la teora de informacin y comunicaciones, y abarca reas de importancia estratgica como:

defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes minera: prospeccin no invasiva comunicaciones digitales control automtico geofsica

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

5/37

Nota Inicial (2)


La relevancia de los temas de este curso va ms all de los mbitos de la teora de informacin y comunicaciones, y abarca reas de importancia estratgica como:

defensa: radar y formacin de imgenes medicina: deteccin de patologas via seales biolctricas o imgenes minera: prospeccin no invasiva comunicaciones digitales control automtico geofsica nanzas

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

5/37

Organizacin del Curso (1)


El curso est organizado en dos partes relacionadas pero independientes.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

6/37

Organizacin del Curso (1)


El curso est organizado en dos partes relacionadas pero independientes. La primera se focaliza en los problemas de estimacin y profundiza en los temas de:

estimacin insesgada (mnima varianza) estimadores lineales estimacin de mxima verosimilitud estimacin bayesiana ltrado estadstico

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

6/37

Organizacin del Curso (2)


La segunda parte del curso se focaliza en los problemas de deteccin y modulacin asociados a determinar si una seal dada o un patrn dado se encuentra presente en una determinada medicin.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

7/37

Organizacin del Curso (2)


La segunda parte del curso se focaliza en los problemas de deteccin y modulacin asociados a determinar si una seal dada o un patrn dado se encuentra presente en una determinada medicin. Entre los temas que tratermos se encuentran los siguientes:

Test de hiptesis (binario y mltiple) Deteccin de seales determinsticas en presencia de ruido Deteccin de seales aleatorias en presencia de ruido

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

7/37

Parte I Estimacin

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

8/37

1.1 Problema de Estimacin

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

9/37

Contexto
Antes de comenzar es importante ser precisos respecto del tipo de hiptesis que vamos a asumir ciertas para nuestro anlisis.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

10/37

Contexto
Antes de comenzar es importante ser precisos respecto del tipo de hiptesis que vamos a asumir ciertas para nuestro anlisis. H1. Existe una variable aleatoria, vector aleatorio o proceso estocstico (de tiempo discreto o continuo) X cuya medida de probabilidad p(x; ) est parametrizada en trminos de un trmino desconocido .

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

10/37

Contexto
Antes de comenzar es importante ser precisos respecto del tipo de hiptesis que vamos a asumir ciertas para nuestro anlisis. H1. Existe una variable aleatoria, vector aleatorio o proceso estocstico (de tiempo discreto o continuo) X cuya medida de probabilidad p(x; ) est parametrizada en trminos de un trmino desconocido . H2. Tenemos acceso a realizaciones de esta variable {x[0], x[1], . . . , x[N 1]} que siguen la ley de probabilidad p(x; ).

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

10/37

El problema de estimacin
Problema de Estimacin
El problema de estimacin corresponde a construir una funcin g(x), con x RN , = g(x[0], x[1], . . . , x[N 1]) un conjunto de observaciones {x[0], x[1], . . . , x[N 1]} de proceso relacionado con el parmetro. (1)

tal que

es un estimador de un parmetro desconocido , donde el argumento de g() es

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

11/37

Cmo s si un estimador es bueno? (1)


Este es un problema central en teora de estimacin: bajo que circunstancias un estimador es es bueno, regular o malo.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

12/37

Cmo s si un estimador es bueno? (1)


Este es un problema central en teora de estimacin: bajo que circunstancias un estimador es es bueno, regular o malo. En general, la medida de desempeo que se emplea en este tipo de problemas es de cercana entre el valor real del parmetro y el de la estimacin.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

12/37

Cmo s si un estimador es bueno? (1)


Este es un problema central en teora de estimacin: bajo que circunstancias un estimador es es bueno, regular o malo. En general, la medida de desempeo que se emplea en este tipo de problemas es de cercana entre el valor real del parmetro y el de la estimacin. Por ejemplo, la Ley de los Grandes Nmeros (versin dbil) establece que dado un conjunto de realizaciones de una variable aleatoria X P, con E[X] = , y realizaciones i.i.d., x0 , x1 , . . . , xN1 , entonces 1 N N
N1

xn
n=0

(2)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

12/37

Cmo s si un estimador es bueno? (2)


es un estimador de en el sentido que
N

lim N =

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

13/37

Cmo s si un estimador es bueno? (2)


es un estimador de en el sentido que
N

lim N =

o bien
N

lim |N | = 0.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

13/37

Criterios de Calidad para la Estimacin


En muchas ocasiones, la calidad de un estimador est ntimamente ligada a un criterio arbitrario de seleccin del estimador.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

14/37

Criterios de Calidad para la Estimacin


En muchas ocasiones, la calidad de un estimador est ntimamente ligada a un criterio arbitrario de seleccin del estimador. Los criterios ms empleados son los siguientes:

En norma p:
N

lim E[ N p ] = 0, p [1, [.

(3a)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

14/37

Criterios de Calidad para la Estimacin


En muchas ocasiones, la calidad de un estimador est ntimamente ligada a un criterio arbitrario de seleccin del estimador. Los criterios ms empleados son los siguientes:

En norma p:
N

lim E[ N p ] = 0, p [1, [.

(3a)

En probabilidad (en medida)


N

lim Pr[ N < ] = 1, > 0.

(3b)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

14/37

Criterios de Calidad para la Estimacin


En muchas ocasiones, la calidad de un estimador est ntimamente ligada a un criterio arbitrario de seleccin del estimador. Los criterios ms empleados son los siguientes:

En norma p:
N

lim E[ N p ] = 0, p [1, [.

(3a)

En probabilidad (en medida)


N

lim Pr[ N < ] = 1, > 0.

(3b)

En discriminante de Kullback-Leibler
N

lim D(p(x; ) p(x; )) = 0.


EL7002, Clase No.1: Introduccin

(3c)
14/37

P. Parada, DIE-UCh

Modelos para los Datos


El primer paso para construir un estimador es conocer, aplicar o forzar un modelo a los datos observados.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

15/37

Modelos para los Datos


El primer paso para construir un estimador es conocer, aplicar o forzar un modelo a los datos observados. Dado que los datos son naturalmente aleatorios (en el caso determinstico el problema es trivial), vamos a utilizar un modelo de la densidad de probabilidad p(x[0], x[1], . . . , x[N 1]; ). (4)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

15/37

Modelos para los Datos


El primer paso para construir un estimador es conocer, aplicar o forzar un modelo a los datos observados. Dado que los datos son naturalmente aleatorios (en el caso determinstico el problema es trivial), vamos a utilizar un modelo de la densidad de probabilidad p(x[0], x[1], . . . , x[N 1]; ). lo que estamos haciendo es considerar la familia de distribuciones con . (4)

Al parametrizar la funcin de densidad de probabilidad (f.d.p.) en trminos de

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

15/37

Modelos para los Datos


El primer paso para construir un estimador es conocer, aplicar o forzar un modelo a los datos observados. Dado que los datos son naturalmente aleatorios (en el caso determinstico el problema es trivial), vamos a utilizar un modelo de la densidad de probabilidad p(x[0], x[1], . . . , x[N 1]; ). lo que estamos haciendo es considerar la familia de distribuciones con . (4)

Al parametrizar la funcin de densidad de probabilidad (f.d.p.) en trminos de

Ejemplo
p(x[0]; ) =
P. Parada, DIE-UCh

1 1 exp 2 (x[0] )2 2 2
EL7002, Clase No.1: Introduccin 15/37

Ejemplo: Actividad Burstil (1)


430 420 Stock Closing Price Xn [U.S. $] 410 400 390 380 370 360

10

20

30 n

40

50

60

70

Figura: Precios al cierre del da de la accin de Apple Inc., cdigo AAPL en NYS Exchange. Perodo: 01.Oct.11 - 31.Dic.11.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

16/37

Ejemplo: Actividad Burstil (2)


Podemos aplicar el siguiente modelo a los datos: Xn = a + bn + Wn (5)

donde a y b son constantes (desconocidas) y {Wn } es un proceso gaussiano i.i.d.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

17/37

Ejemplo: Actividad Burstil (2)


Podemos aplicar el siguiente modelo a los datos: Xn = a + bn + Wn (5)

donde a y b son constantes (desconocidas) y {Wn } es un proceso gaussiano i.i.d. En este caso, los parmetros del modelo son = [a; b]T y 1 1 exp 2 p(x; ) = 2 )N/2 2 (2
N1 n=0

(xn a bn)2

(6)

donde x = (x0 , x1 , . . . , xN1 ) es un conjunto de observaciones (precios de cierre en este caso).

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

17/37

Algo ms sobre modelos


En general, la calidad o exibilidad de un estimador estar intimamente ligada a la familia de f.d.p.s que uno haya considerado.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

18/37

Algo ms sobre modelos


En general, la calidad o exibilidad de un estimador estar intimamente ligada a la familia de f.d.p.s que uno haya considerado. En el caso del ejemplo, slo consideramos distribuciones gaussianas con un valor medio dependiente del tiempo.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

18/37

Algo ms sobre modelos


En general, la calidad o exibilidad de un estimador estar intimamente ligada a la familia de f.d.p.s que uno haya considerado. En el caso del ejemplo, slo consideramos distribuciones gaussianas con un valor medio dependiente del tiempo.

Importante
El tipo de estimadores que uno desea construir es robusto, en el sentido que pequeos cambios en la f.d.p. generan pequeas degradaciones en el desempeo y no cambios abruptos.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

18/37

Estimacin clsica (1)


La estimacin basada en el clculo de parmetros de un modelo recibe el nombre de estimacin clsica.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

19/37

Estimacin clsica (1)


La estimacin basada en el clculo de parmetros de un modelo recibe el nombre de estimacin clsica. En ella, es un vector de parmetros determinstico pero desconocido.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

19/37

Estimacin clsica (1)


La estimacin basada en el clculo de parmetros de un modelo recibe el nombre de estimacin clsica. En ella, es un vector de parmetros determinstico pero desconocido. Cuando se adquiere informacin adicional sobre el parmetro (via observaciones), se puede asumir que es aleatorio y que los parmetros que estamos buscando son una realizacin particular de un determinado proceso.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

19/37

Estimacin clsica (1)


La estimacin basada en el clculo de parmetros de un modelo recibe el nombre de estimacin clsica. En ella, es un vector de parmetros determinstico pero desconocido. Cuando se adquiere informacin adicional sobre el parmetro (via observaciones), se puede asumir que es aleatorio y que los parmetros que estamos buscando son una realizacin particular de un determinado proceso. Notemos que en este caso, y x se relacionan mediante la ecuacin p(x, ) = p(x|)p() (7)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

19/37

Estimacin clsica (2)


donde p() es la informacin a priori que se conoce de y p(x|) es la verosimilitud de x condicional al valor de .

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

20/37

Estimacin clsica (2)


donde p() es la informacin a priori que se conoce de y p(x|) es la verosimilitud de x condicional al valor de . Este tipo de enfoque se conoce como estimacin bayesiana.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

20/37

Estimacin clsica (2)


donde p() es la informacin a priori que se conoce de y p(x|) es la verosimilitud de x condicional al valor de . Este tipo de enfoque se conoce como estimacin bayesiana. Notar que p(|x) = p(x|)p() = p(x)

p(x|)p() p(x| )p( )d


(8)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

20/37

Estimacin clsica (2)


donde p() es la informacin a priori que se conoce de y p(x|) es la verosimilitud de x condicional al valor de . Este tipo de enfoque se conoce como estimacin bayesiana. Notar que p(|x) = p(x|)p() = p(x)

p(x|)p() p(x| )p( )d


(8)

Luego, podemos decir que un estimador es una regla que asigna un valor por cada realizacin x.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

20/37

Desempeo de un Estimador (1)

La calidad de un estimador es extremadamente importante para determinar el mecanismo de clculo de = g(x[0], x[1], . . . , x[N 1]), as como su calidad generalizadora. (9)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

21/37

Desempeo de un Estimador (1)

La calidad de un estimador es extremadamente importante para determinar el mecanismo de clculo de = g(x[0], x[1], . . . , x[N 1]), as como su calidad generalizadora. La calidad de un estimador la vamos a medir deniendo una funcin de cercana entre y , lo que nos permitir en algunos casos prcticos, establecer reglas para construir mejores estimadores. (9)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

21/37

Desempeo de un Estimador (2)


Por ejemplo, si un conjunto de valores puede ser descrito mediante el modelo x[n] = A + w[n] con {w[n]} un proceso guassiano, entonces es posible determinar A como: 1 A1 (N) N
N1

(10)

x[n].
n=0

(11)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

22/37

Desempeo de un Estimador (2)


Por ejemplo, si un conjunto de valores puede ser descrito mediante el modelo x[n] = A + w[n] con {w[n]} un proceso guassiano, entonces es posible determinar A como: 1 A1 (N) N
N1

(10)

x[n].
n=0

(11)

Pero puedo emplear un segundo estimador A2 (N) = x[0]. (12)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

22/37

Desempeo de un Estimador (3)


Si A2 es ms cercano que A1 en un caso particular, es suciente para concluir que A2 es mejor estimador que A1 ?

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

23/37

Desempeo de un Estimador (3)


Si A2 es ms cercano que A1 en un caso particular, es suciente para concluir que A2 es mejor estimador que A1 ? No: debemos conocer el desempeo en un conjunto de realizaciones, no una o unas pocas.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

23/37

Desempeo de un Estimador (3)


Si A2 es ms cercano que A1 en un caso particular, es suciente para concluir que A2 es mejor estimador que A1 ? No: debemos conocer el desempeo en un conjunto de realizaciones, no una o unas pocas. Por ejemplo, si A = 1 y w[n] sigue una distribucin normal N (0, 1) entonces

podemos calcular varias realizaciones de la secuencia {x[0], . . . , x[N 1]} y entrega, en promedio, una mejor estimacin.

determinar la dispersin de ambos estimadores para determinar cual de los dos

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

23/37

Desempeo de un Estimador (4)


1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0

pA1

-1

1 a

pA2

-1

1 a

Figura: Dispersin de los estimadores A1 y A2 asumiendo que w[n] N (0, 1), N = 100 y con un total de S = 100 simulaciones.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

24/37

Varianza del Estimador (1)


En muchas ocasiones, resulta conveniente estudiar la varianza de un estimador como una manera de comparar su grado de cercana al parmetro bajo estudio.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

25/37

Varianza del Estimador (1)


En muchas ocasiones, resulta conveniente estudiar la varianza de un estimador como una manera de comparar su grado de cercana al parmetro bajo estudio. En el caso del estimador A1 tenemos que su valor esperado es 1 E[A1 ] = N = 1 N
N1

E[x[n]]
n=0 N1

(A + E[w[n]])
n=0 0

NA = N = A.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

25/37

Varianza del Estimador (2)


Similarmente, en el caso del estimador A2 su valor esperado es E[A2 ] = E[x[n]] = A + E[w[n]])
0

= A.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

26/37

Varianza del Estimador (2)


Similarmente, en el caso del estimador A2 su valor esperado es E[A2 ] = E[x[n]] = A + E[w[n]])
0

= A. Ambos estimadores se dicen que son insesgados.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

26/37

Varianza del Estimador (2)


Similarmente, en el caso del estimador A2 su valor esperado es E[A2 ] = E[x[n]] = A + E[w[n]])
0

= A. Ambos estimadores se dicen que son insesgados. Qu hay de sus varianzas?: Var(A1 ) = Var( 2 = N
P. Parada, DIE-UCh EL7002, Clase No.1: Introduccin 26/37

1 N

N1

x[n]) =
n=0

1 N2

N1

Var(x[n])
n=0

Varianza del Estimador (3)


Por otro lado, Var(A2 ) = Var(x[0]) = 2 > Var(A1 ) Este resultado es vlido independiente del tipo de distribucin que siga {w[n]}.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

27/37

Varianza del Estimador (3)


Por otro lado, Var(A2 ) = Var(x[0]) = 2 > Var(A1 ) Este resultado es vlido independiente del tipo de distribucin que siga {w[n]}. Lo nico que necesitamos es que E[w[n]] = 0 Cov(w[n], w[m]) = 2 n,m .

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

27/37

1.2 Estimador de Mnima Varianza

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

28/37

Hoja de Ruta
A partir de este momento comenzaremos a ver criterios y tcnicas para determinar buenos estimadores de un parmetro (o conjunto de ellos) que son desconocidos.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

29/37

Hoja de Ruta
A partir de este momento comenzaremos a ver criterios y tcnicas para determinar buenos estimadores de un parmetro (o conjunto de ellos) que son desconocidos. El criterio que veremos en esta clase se denomina de varianza mnima, ya que utiliza como funcin discriminadora la varianza del estimador bajo estudio.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

29/37

Hoja de Ruta
A partir de este momento comenzaremos a ver criterios y tcnicas para determinar buenos estimadores de un parmetro (o conjunto de ellos) que son desconocidos. El criterio que veremos en esta clase se denomina de varianza mnima, ya que utiliza como funcin discriminadora la varianza del estimador bajo estudio. Vamos a considerar una clase particular de estimadores denominados insesgados, que tienen un buen desempeo y son realizables (causales).

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

29/37

Estimadores Insesgados (1)


Un estimador es insesgado si - en promedio - entrega el valor correcto del parmetro desconocido.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

30/37

Estimadores Insesgados (1)


Un estimador es insesgado si - en promedio - entrega el valor correcto del parmetro desconocido. Si entonces podemos restringir nuestra atencin al caso en que E[] = , . (13)

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

30/37

Estimadores Insesgados (1)


Un estimador es insesgado si - en promedio - entrega el valor correcto del parmetro desconocido. Si entonces podemos restringir nuestra atencin al caso en que E[] = , . (13)

Ejemplo 1: consideremos el problema de estimar un parmetro desconocido A R a partir del modelo donde {w[n]} es i.i.d. N (0, 1).
P. Parada, DIE-UCh EL7002, Clase No.1: Introduccin 30/37

x[n] = A + w[n]

(14)

Estimadores Insesgados (2)


Asumamos que tenemos N observaciones de x[n] de forma tal que denimos el estimador 1 A= N
N1

x[n]
n=0

(15)

Es fcil mostrar que A es insesgado, ya que E[A] = = 1 N 1 N


N1

E[x[n]]
n=0 N1

A
n=0

= A.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

31/37

Estimadores Insesgados (3)


Denimos el estimador de la varianza de X como: 2 = Luego, E[ 2 ] = 1 N
2 N1

Ejemplo 2: Considere X N (0, 2 ) y las realizaciones x[0], x[1], . . . , x[N 1]. 1 N


N1

x2 [N]
n=0

(16)

E[x2 [N]]
n=0

= .

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

32/37

Estimadores Insesgados (4)


0.25 0.2 0.15 p2 0.1 0.05 0 -0.1 -0.05 0 a 0.05 0.1 0.1 0.05 0 0.85 0.9 0.95 1 1.05 1.1 1.15 1.2 2
EL7002, Clase No.1: Introduccin

0.25 0.2 0.15

Figura: Distribucin emprica (histograma) de los estimadores A y 2 producidos via simulacin con N = 1000 y 500 simulaciones; los parmetros reales son A = 0 y 2 = 1.

P. Parada, DIE-UCh

pA

33/37

Distribucin de un Estimador (1)


En general, si conocemos el modelo paramtrico que relaciona las observaciones con el parmetro desconocido, podemos hacer algo de lgebra y determinar en forma analtica la distribucin de probabilidad del parmetro en cuestin.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

34/37

Distribucin de un Estimador (1)


En general, si conocemos el modelo paramtrico que relaciona las observaciones con el parmetro desconocido, podemos hacer algo de lgebra y determinar en forma analtica la distribucin de probabilidad del parmetro en cuestin. Si el estimador es insesgado, es habitual que la distribucin del parmetro sea simtrica y centrada en torno al valor real del parmetro.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

34/37

Distribucin de un Estimador (1)


En general, si conocemos el modelo paramtrico que relaciona las observaciones con el parmetro desconocido, podemos hacer algo de lgebra y determinar en forma analtica la distribucin de probabilidad del parmetro en cuestin. Si el estimador es insesgado, es habitual que la distribucin del parmetro sea simtrica y centrada en torno al valor real del parmetro. Sin embargo, existen casos donde esto no se cumple: 1 2 = (x2 [0] + x2 [1]) 2 se distribuye en forma exponencial con parmetro 1/ 2 : f ( 2 ) = 1 2 exp 2 . 2
EL7002, Clase No.1: Introduccin

(17)

(18)

P. Parada, DIE-UCh

34/37

Distribucin de un Estimador (2)


0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 0.85 0.90.95 1 1.05 1.1 1.15 1.2 1.25 2 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 -2

p2

p2

4 2

10 12

Figura: Distribucin emprica (histograma) de los estimadores 2 y 2 producidos via simulacin con N = 1000 y 500 simulaciones; los parmetros reales son A = 0 y 2 = 1.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

35/37

Ideas para madurar

Un estimador es una variable aleatoria. Ello requiere que utilicemos mediciones estadsticas de desempeo.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

36/37

Ideas para madurar

Un estimador es una variable aleatoria. Ello requiere que utilicemos mediciones estadsticas de desempeo. Aunque el uso de simulacin computacional resulta muy til al momento de calcular el desempeo de un estimador, en muchos casos no es sufciente.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

36/37

Ideas para madurar

Un estimador es una variable aleatoria. Ello requiere que utilicemos mediciones estadsticas de desempeo. Aunque el uso de simulacin computacional resulta muy til al momento de calcular el desempeo de un estimador, en muchos casos no es sufciente. La complejidad computacional asociada al clculo de un determinado estimador puede ser un factor en contra que uno debe tomar en cuenta al momento de seleccionar una determinada funcin.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

36/37

Lecturas

Steven M. Kay. Fundamentals of Statistical Signal Processing: Volume 1 Estimation Theory, Captulo 1.

P. Parada, DIE-UCh

EL7002, Clase No.1: Introduccin

37/37