Teora de la estimacin

ndice
Conceptos bsicos
Calidad de los estimadores
Cota de Cramer Rao
Estimador de mxima verosimilitud
Estimador bayesiano
Estimador lineal de error cuadrtico medio mnimo

1. Conceptos bsicos
Teora de la Estimacin: Rama del procesado de seales y la

estadstica, que estudia las tcnicas utilizadas para proporcionar

un valor aprximado a un parmetro o variable, a partir de datos
empricos o medidas.

Modelo de Estimacin. El modelo normalmente utilizado, est

compuesto por los siguientes elementos:

Espacio de parmetros. Es un espacio no observable, cuyos

elementos son los posibles parmetros de los que depende la

generacin de datos.

Espacio de observaciones. Es el espacio cuyos elementos son los

datos empricos o medidas, que se van a utilizar en la estimacin.

Regla de transicin probabilstica. Distribucin estadstica de las

observaciones, dependiendo del parmetro o parmetros.

Estimador. Funcin de los datos empricos, que se utiliza para generar

la medida o estima.

1. Conceptos bsicos
Estimador
*(z)

Objetivo: Medir (estimar) el valor de utilizando un

instrumento de medida (estimador), diseado usando
algn criterio

1. Conceptos bsicos
Modelo en Teora de la Deteccin (caso binario):

Objetivo: decidir si se ha enviado un 0 o un 1 dividiendo el

espacio de observaciones en regiones, asignadas a una u otra
hiptesis. Para ello se utiliza un estadstico que se compara con
un umbral

1. Conceptos bsicos
Diferencias entre Teora de la Deteccin y Teora de

la Estimacin:
En los problemas de deteccin, los parmetros

desconocidos pueden tomar un conjunto de valores finito y

numerable, de forma que el nmero de hiptesis posibles
es finito.
En los problemas de estimacin, los valores que puede
tomar el parmetro desconocido son infinitos, por lo que no
tiene sentido aplicar la teora de la deteccin. Las
observaciones (datos medidos) se utilizan para estimar o
inferir el valor del parmetro.

El parmetro a estimar puede ser determinista o

aleatorio.

1. Conceptos bsicos
El parmetro cuyo valor desconocido queremos estimar

(medir de forma aproximada) puede ser:

Determinista. Por ejemplo, cuando queremos estimar la

media de una variable aleatoria, utilizando un nmero de

realizaciones de la misma.
Aleatorio. Por ejemplo, la fase desconocida de una

seal sinusoidal. Las seales observadas son

realizaciones de una seal aleatoria, cuya fase
instantnea depende de una variable aleatoria,
normamente con distribucin uniforme en [0, 2).

x ( t ) = Acos( 0 t + )

, es variable aleatoria

1. Conceptos bsicos
Los datos se generan atendiendo a la f.d.p. definida en el

mecanismo de transicin probabilstica y tienen, por tanto,

carcter aleatorio.
El estimador del parmetro , denotado como *, es una
funcin de los datos (*(z)), y tambin tiene carcter aleatorio
(funcin de un vector aleatorio)
El estimador del parmetro es una variable aleatoria,

independientemente de si el parmetro es determinista o

aleatorio.
El estimador del parmetro, al ser una variable aleatoria, se
puede caracterizar por su funcin de densidad de
probabilidad, f(*(z))

1. Conceptos bsicos
El estimador puede interpretarse como un instrumento de

medida del valor que toma el parmetro

El error es inherente al proceso de medida, por alguno de los

siguientes factores:

Defectos en el diseo del instrumento de medida, que pueden

dar lugar a errores sistemticos. Por ejemplo, voltmetro mal

calibrado.

Es imposible obtener datos precisos. Por ejemplo, al medir una

seal contaminada con ruido, o al medir con un voltmetro real,

que carga al circuito en el que se mide.
No se dispone de suficientes datos, porque no es posible
obtenerlos, o porque no es prctico. Por ejemplo, estimacin de
la intencin de voto en base a resultados de encuestas (es
imposible encuestar a toda la poblacin)
OBJETIVO: Disear instrumentos de medida donde la

influencia de los errores sea pequea

ndice
Conceptos bsicos

Calidad de los estimadores

Cota de Cramer Rao
Estimador de mxima verosimilitud
Estimador bayesiano
Estimador lineal de error cuadrtico medio mnimo

2. Calidad de los estimadores

El error que se comete al estimar el valor del parmetro

desconocido () mediante el estimador *, o error de

estimacin, es, formalmente:

= *
El error de estimacin es una v.a., ya que el estimador tiene

carcter aleatorio (el parmetro tambin puede ser aleatorio).

Si el error de estimacin es una variable aleatoria, podra
caracterizarse estadsticamente por su f.d.p.
En general, debido a las dificultades encontradas para obtener
la f.d.p. del error de estimacin, se estudian unicamente los
estadsticos de primer y segundo orden del mismo.

2. Calidad de los estimadores

SESGO (BIAS): Se define como el valor medio del error de

estimacin, o la diferencia entre la media del estimador y el valor

medio del parmetro a estimar:

S( * ) = E * (z) = E[ * (z)] E[ ]
El sesgo nos da una idea del error sistemtico cometido en la

medida o estimacin. No informa sobre la dispersin de los

resultados de la medida o estimacin.

Estimador insesgado: Es aquel estimador en el que el sesgo es

nulo, o lo que es lo mismo, la media del estimador coincide con el

valor medio del parmetro (si es aleatorio), o con el valor real del
parmetro, si es determinista.

2. Calidad de los estimadores

Varianza del estimador: Es una medida de la dispersin de las

estimas (resultados de la estimacin), con relacin al valor

medio de las mismas:
2

2
*
*
= E (z) E( (z))

Valor cuadrtico medio del error. Ofrece de forma conjunta,

informacin sobre el valor medio del error y la dispersin del

mismo:
2
*
MSE = E (z)

2. Calidad de los estimadores

Relacin entre Sesgo, Varianza y MSE en la estimacin de

parmetros deterministas:

MSE( * ) = E ( * ) 2

[ { } { } ]

MSE( ) = E {( E { }) + ( E { } )}

MSE( * ) = E ( * E * + E * ) 2
*

2
*
*
*
MSE( ) = E E + S( )

MSE( * ) = E * E * + S 2 ( * ) + 2S( * )E * E *

{(

{ })

{ })

( )

MSE( * ) = var * + S 2 ( * )

{ }]

2. Calidad de los estimadores

Ejemplo 1: Supongamos que X es una v.a. normal o gaussiana, de la que
slo disponemos de N muestras tomadas de forma independiente. El valor
de la media () es desconocido y es, precisamente, el parmetro que nos
gustara estimar. Se propone como estimador la media muestral:

El estimador es una v.a.

Normal

2.Calidad de los estimadores

En el ejemplo anterior, la varianza del estimador depende del

nmero de datos. Al aumentar el nmero de datos, la varianza

disminuye. Este hecho invita a definir una propiedad que permita
comparar los estimadores en base a la varianza de los mismos.

2. Calidad de los estimadores

Problema: En general, el estimador ideal depende del parmetro

cuyo valor se quiere estimar

Slo es aplicable en algunos casos sencillos

2. Calidad de los estimadores

Eficiencia: Un estimador es ms eficiente o preciso que otro, si

la varianza del primero es menor que la del segundo. El

estimador para el que la varianza se hace mnima se denomina
Estimador de Mnima Varianza. Si el estimador es insesgado y
de mnima varianza, recibe el nombre de Estimador Insesgado
de Mnima Varianza (MVUE).

Consistencia: Un estimador es consistente si al aumentar el

tamao de la muestra el valor del estimador tiende a ser el valor

del parmetro. Para que ocurra eso, debe cumplirse lo siguiente:

lim S N* =

{ }
lim var{ N* } = 0
N
N

Estimador asintticamente
insesgado

2. Calidad de los estimadores

esmsecienteque

2. Calidad de los estimadores

Ejercicio 2 : Estudiar si la media muestral es un estimador

consistente de la media de una variable aleatoria gaussiana

Si los datos son realizaciones independientes, se puede

demostrar que el estimador es una variable aleatoria

gaussiana, con f.d.p. N(,2/N), por lo que es insesgado, y la
varianza tiende a cero al aumentar N. Es, por lo tanto, un
estimador consistente.

2. Calidad de los estimadores

Ejemplo: Qu estimador es mejor?

ndice
Conceptos bsicos
Calidad

Cota de Cramer Rao

Estimador de mxima verosimilitud
Estimador bayesiano
Estimador lineal de error cuadrtico medio mnimo

3. Cota de Cramer-Rao
Se puede conseguir siempre que la varianza de un estimador

sea tan pequea como se quiera?

Hasta dnde se puede reducir la varianza de un estimador?
La varianza de un estimador es siempre mayor o igual que la
cota de Cramer-Rao (CCR)

CCR =

1
ln[ f (z | )]
E
2

ln[ f (z | )]

3. Cota de Cramer-Rao
Ejercicio 3 (propuesto): Supongamos que X es una va normal o
gaussiana, de la que slo disponemos de N muestras tomadas de
forma independiente. El valor de la media es desconocido y es,
precisamente, el parmetro que nos gustara estimar. Sabiendo que
el estimador de la media es:

calcule la CCR del estimador de dicho parmetro.

ndice
Conceptos bsicos
Calidad
Cota de Cramer Rao

Estimador de mxima verosimilitud

Estimador bayesiano
Estimador lineal de error cuadrtico medio mnimo

4. Estimador de Mxima Verosimilitud

Se considera una familia de funciones de densidad de

probabilidad parametrizadas, dependientes del parmetro

(puede extenderse fcilmente a la estimacin de vectores). El
parmetro puede ser determinista o aleatorio.
Se conoce un vector de datos generados con un modelo
probabilstico descrito por la familia de funciones de densidad de
probabilidad parametrizadas.
El objetivo de la estima de mxima verosimilitud es encontrar un
estimador del parmetro , dependiente de los datos conocidos.
Conociendo un vector de datos y el modelo probabilstico
subyacente, la estima de mxima verosimilitud toma el valor del
parmetro que da lugar a la distribucin con la que los datos son
ms probables.

4. Estimador de Mxima Verosimilitud

A) Si el parmetro es determinista

4.Estimador de Mxima Verosimilitud

Dada la observacin, zobs, el objetivo es calcular el valor del parmetro
j para el cual la fdp alcanza el valor mximo. Ese valor es
precisamente la estima de mxima verosimilitud.

4. Estimador de Mxima Verosimilitud

Mtodo: Para calcular el mximo de la funcion f(z|) se aplica el

mtodo general para el clculo del mximo de una funcin. En este

caso, la variable dependiente es el parmetro desconocido:

f ( z )} = 0 = ML
{

{ f ( z )}

<
0

mximo
2

= ML

Puede ser conveniente aplicar una funcin montona para facilitar

el clculo, teniendo en cuenta que el valor del parmetro que

maximiza la funcin no vara al aplicar este tipo de transformacin:

Tmono ( f ( z ))} = 0 = ML
{

4. Estimador de Mxima Verosimilitud

B) Si el parmetro es una variable aleatoria, es necesario
caracterizar de forma conjunta al parmetro y a los datos, que
tienen carcter aleatorio.

f ( z, ) = f ( z ) f ( )
Si se aplica la funcin logaritmo, que es montona creciente:

ln[ f ( z, )] = ln[ f ( z )] + ln[ f ( )]

En estos casos, es comn el suponer que el parmetro tiene

distribucin uniforme (p.e. la fase de una portadora se supone

condistribucin uniforme en [0,2) ), o tiene variacin lenta en
comparada con f(z|).

4. Estimador de Mxima Verosimilitud

Tmono ( f ( z, ))} = 0 = ML
{

ln f ( z, ) =
ln f z +
ln f ( )

[ ( )]

Suponiendo que se cumple:

ln f ( ) <<
ln f z

[ ( )]

El estimador de Mxima Verosimilitud se obtendra a partir de:

ln[ f ( z )] 0 = ML

4. Estimador de Mxima Verosimilitud

Ventaja
Se puede aplicar tanto para estimar parmetros

deterministas como aleatorios

Desventaja
No tiene en cuenta los criterios de calidad (sesgo,
varianza)
Solucin: Estimador bayesiano

5. Estimador bayesiano
Consideramos el parmetro a estimar como una realizacin de

una variable aleatoria , de la cual se tiene cierto conocimiento

a priori, reflejado en la funcin de densidad de probabilidad de
dicho parmetro, f()
El vector de datos observado tiene, asimismo, carcter
aleatorio, y su comportamiento probabilstico depende del
parmetro a estimar a travs de f(x|).
La estimacin bayesiana se basa en la minimizacin del riesgo
bayesiano, o coste medio. Es necesario, por lo tanto, definir un
coste asociado a la estima, que normalmente depender del
error de estimacin.

5. Estimador bayesiano
Objetivo: minimizar una funcin de coste medio asociado al error
de estimacin. En primer lugar, es necesario definir la funcin de
coste cuyo valor medio queremos minimizar:

C ( ) = C ( y y ) = C ( y, y )

= y y
El coste
medio del error de estimacin es, formalmente:

E [C ( )] =

C ( y, y ) f ( y, x) dx dy

Es necesario conocer la f.d.p. conjunta del estimador y de los datos

5. Estimador bayesiano
+

E [C ( )] =

C ( y, y ) f ( y, x) dx dy

Problema: Es difcil conocer la f.d.p. CONJUNTA de las N+1

variables aleatorias (Y, X1, , XN). Una solucin es expresarla en
funcin de la f.d.p. CONDICIONAL y de la MARGINAL:

E [C ( )] =

C ( y, y ) f ( y x) f (x) dx dy

x
+

E [C ( )] =

C
y,
y
[ ( ) f ( y x) dy] f (x) dx

I ( y ) f (x) dx

5. Estimador bayesiano
Al ser f(x) una funcin no negativa, para minimizar el coste

medio, es suficiente minimizar I().

Qu propiedades debe tener la funcin de coste?
De ser nula en el origen, es decir, el coste asociado al error

cero debe ser nulo.

Debe ser una funcin no negativa.
En general, conviene que sea simtrica.
Ejemplos de funciones de coste:
Valor cuadrtico del error:
Valor absoluto del error:

C(y, y (x)) = (y y(x))2

C(y, y (x)) = y y(x)

Coste uniforme:

0 | y
y (x) | / 2
C(y y(x)) =
y (x) |> / 2
1 | y

5. Estimador Bayesiano
Estimador bayesiano de error cuadrtico medio mnimo:
+

E [C ( )] =

C
y,
y
[ ( ) f ( y x) dy] f (x) dx

con I ( y ) =

2
y

y
( ) f ( y x) dy

Como f(x) es una fdp (por definicin, no negativa), minimizar el

coste medio es equivalente a minimizar I((x)):

I ( y ) = 0 yopt = y f ( y x) dy = E [ y x]
y

5. Estimador Bayesiano

yopt =

y f ( y x) dy = E [ y x]

Este estimador es difcil de obtener pues requiere conocer

f(y|x), la fdp de la variable a estimar dependiente de los datos.
Una alternativa ms prctica consiste en construir un estimador
sub-ptimo que sea ms fcil de calcular: por ejemplo,
obligando a que sea una combinacin lineal de los datos.

6. Estimador LINEAL de error cuadrtico

medio mnimo
Para evitar los problemas mencionados, se propone un estimador
que sea una combinacin lineal de los datos conocidos.
N

y = ai xi
i=1

OBJETIVO: encontrar el valor de los coeficientes ai que minimizan

el error cuadrtico medio:

2
N


E y ai xi = 0,

a j i=1

j = 1,2,, N

6. Estimador LINEAL de error cuadrtico

medio mnimo

N
E y ai xi x j = 0, 1 j N

i=1

y y=

[ ]

E x j = 0, 1 j N

R x j = 0, 1 j N

Principio de ortogonalidad:
El error (de estimacin) debe
ser ortogonal (en el sentido
estadstico) a los datos, es
decir, la correlacin entre las
variables aleatorias y xj
debe ser nula

6. Estimador LINEAL de error cuadrtico

medio mnimo

N
E y ai xi x j = 0, 1 j N

i=1

y y =
N

ai E [ xi x j ] = E [ y x j ] = 0, 1 j N

i=1

o, equivalentemente,
N

ai Rx x
i

i=1

= Ry x j , 1 j N

Ecuaciones
normales o de
Wiener-Hopf

6. Estimador LINEAL de error cuadrtico

medio mnimo
N

RX X ai = RY X ,
i

i=1

1 j N

Ecuaciones
normales o de
Wiener-Hopf

RX X RX X a RYX
1 1
1 N
1
1

RX X RX X a N RYX
N 1
N
N N

6. Estimador LINEAL de error cuadrtico

medio mnimo
U.lizandoestapropiedad

2
+E y

[ ] = E[ ] [ ]

E y

yteniendoencuentalasecuacionesdeWienerHopf

E y x j = ai E xi x j

sellegaaque:

i=1

1 j N

Estimador LINEAL de error cuadrtico

medio mnimo
N

[ ] = E[ y ] a E[ y x ]

i=1

R y xi
Para disminuir el error de este estimador hay que
aadir datos (xi) que estn correlados con la v.a. (y) a
estimar!
Si aadimos nuevos datos ortogonales (correlacin
nula), no se disminuye el
error de estimacin

Estimador LINEAL de error cuadrtico

medio mnimo
Aplicacin 1: Filtro de Wiener-Kolmogorov
La seal (s) y el ruido
(n) son procesos
estacionarios con
autocorrelacin y
correlacin cruzada
conocidas

El objetivo es calcular los

coeficientes del filtro que
estiman la seal limpia
Elcriteriodediseoesminimizarelvalor
cuadr.comediodelerrordees.macin
Ello es equivalente a resolver
las ecuaciones normales

Estimador LINEAL de error cuadrtico

medio mnimo
Aplicacin 2: Prediccin lineal
es la muestra de X cuyo valor desconocido estamos interesados en
estimar. Los datos disponibles son los p muestras anteriores

El predictor lineal de la muestra x[n] tiene la forma

ysuspcoecientessecalculanu.lizandolasecuacionesnormales,olo
queeslomismo,minimizandoelvalorcuadr.comediodelerrorde
es.macin(prediccin):