Mtodo de mxima verosimilitud

Curso de Estadstica
TAE,2005
J.J. Gmez Cadenas

Muestras
Considerar una variable aleatoria x descrita por la pdf f(x).
El espacio de muestras est constituido por todos los posibles valores
de x.
Un conjunto de n observaciones independientes de x se llama una
muestra de tamao n.
Es posible definir un nuevo espacio de muestras constituido por todos los
posibles valores del vector x =(x1,...,xn). Es decir, la muestra se considera
formada por una sola medida aleatoria, caracterizada por las cantidades
(x1,...,xn).
Las n medidas son independientes
La pdf es la misma para cada medida

fmuestra (x1 ,...xn ) = f (x1 ) f (x2 )... f (xn )

Estimadores
Considerar la situacin donde se han realizado n medidas de una variable
aleatoria cuya pdf se desconoce.
El problema central de la estadstica es inferir las propiedades de f(x)
basndose en las observaciones x1,...,xn).
Especficamente, deseamos construir funciones de los xi para estimar las
propiedades de f(x).
A menudo se tiene una hiptesis para la pfd f(x;) de un parmetro
desconocido (o ms generalmente de un vector de parmetros =(1,...,n)).
El objetivo es entonces construir funciones de los xi que permitan estimar los
parmetros .
Una funcin de x1,...,xn que no contiene parmetros desconocidos se
denomina estadstica.
Una estadstica que se utiliza para estimar una propiedad de una pdf (media,
varianza, etc.) se llama un estimador.

Notacin: El estimador de un parmetro (cuyo valor exacto no se conoce

ni es obvio que pueda, en general conocerse) se suele notar como
Decimos que un estimador es consistente si converge al valor autntico del
parmetro en el lmite de alto n: (lmite de muestra grande o lmite
asinttico).

lim P > = 0

El procedimiento por el cual estimamos el valor de un parmetro a partir

de los datos x1,...,xn se denomina ajuste (de los datos al parmetro).
Puesto que un estimador (x1,...,xn ) es una funcin de variables aleatorias,
en en s mismo una variable aleatoria. Es decir, si el experimento se remite
muchas veces, para cada muestra x=(x1,...,xn ) el estimador tomar
valores diferentes, distribuidos de acuerdo a cierta pdf g( ; ) que depende
del autntico valor de parmetro. Esta pdf se denomina distribucin de
muestreo.

Sesgo
El valor esperado de un estimador con pdf g( ; ) es:

E[ ( x)] = g( ; )d = ( x) f (x1; ) f (xn ; )dx1 dxn

Definimos el sesgo del estimador como:

b = E[ ( x)]
NB: El sesgo no depende de los valores x1,...,xn de la muestra, sino del
tamao de sta, de la forma funcional del estimador y de la pdf conjunta
(que en general no se conoce).
Decimos que un parmetro no tiene sesgo si b=0 independientemente del
tamao de la muestra.
Decimos que un parmetro no tiene sesgo en el lmite asinttico si b=0
cuando n tiene a infinito.
Un parmetro consistente pede sin embargo estar sesgado (n finito)

Estimadores para la media: Media aritmtica

1 n
x = xi
n i =1

Media aritmtica o
muestral:

Ley (dbil) de los nmeros grandes: Si existe la varianza de x entoces x es

un estimador consistente de la media poblacional .

lim x =

Valor esperado de x:
1 n
1 n 1 n
E[x ] = E xi = E[xi ] = i =
n i =1
n i =1 n i =1

Por lo tanto la media muestral x es un estimador sin sesgo de la media

poblacional .

Estimadores para la varianza y covarianza

Varianza muestral:
1 n
n
2
2
s =
(x

x
)
=
x
x

i
n 1 i =1
n 1
2

donde x= x

Al igual que para la media, puede demostrarse que la varianza muestral es

un estimador sin sesgo de la varianza poblacional 2 . Si la media se
conoce entonces tambin es un estimador sin sesgo la cantidad S2.
n
1
S2 =
(xi )2 = x 2

n 1 i =1

Anlogamente, un estimador sin sesgo para la covarianza es:

n
1
n
Vxy
(x

x
)
(y

y
)
=
xy x y

i
i
n 1 i =1
n 1

Varianza de la media
Dado un estimador, su varianza se define como:

V[ ] = E[ 2 ] (E[ ])2
Varianza de la media aritmtica:
n
n

1
2
2
V[x ] = E[x ] (E[x ]) = E xi x j 2
n i =1 n j =1
2
1 n
1

= 2 E[xi x j ] 2 = 2 (n 2 n) 2 + n( 2 + 2 ) 2 =
n i, j =1
n
n

(NB : E[xi x j ] = 2 i j, E[xi2 ] = 2 + 2 )

Es decir: la desviacin estndar de la media de n medidas de x es igual a la
desviacin estndar de f(x) dividida por n.

Varianza de s2
1
n3 3
V[s ] = ( 4
2 )
n
n 1
2

( n =

(x )n f (x)dx)

Un estimador del momento central de orden n es:

1 n
k
mk =
(x

x
)
i
n 1 i =1

Mtodo de de mxima verosimilitud

Considerar x distribuida de acuerdo a f(x;q) donde q es un parmetro (o vector
de parmetros) desconocido.
El mtodo de mxima verosimilitud es una tcnica para estimar los valores de
dada una muestra finita de datos.
Supongamos n medidas de x, x1,...,xn. Puesto que las medidas son
independientes, la probabilidad de que x1 est en [x1,x1+dx1], x2 en
[x2,x2+dx2], es:
n

probabilidad de que xi est en [xi , xi + dxi ]para todo i= f(x i ; )dxi

i=1

Si la la pdf y el (los) parmetro(s) describen realmente los datos, esperamos

alta probabilidad para los datos que hemos medido. Anlogamente un
parmetro cuyo valor se desve mucho del autntico resultar en baja
probabilidad para las medidas observadas.

Funcin de verosimilitud
n

P(todo xi en [xi , xi + dxi ])= f(x i ; )dxi

i=1

Probabilidad mxima para la pdf y parmetros correctos. Por tanto la funcin:

n

L( ) = f(x i ; )
i=1

Ser mxima para la pdf y parmetros correctos. En estadstica clsica L() no

es la pdf de sino la pdf conjunta de los x donde:
q se trata como un parmetro (del que la pdf depende)
los xi estn fijados (los datos ya han sido adquiridos)
En estadstica Bayesiana, podemos tratar L()=L(x|) como la pdf de x dado
y a usar el teorema de Bayes para calcular la probabilidad posterior p(|x).

Estimadores de mxima verosimilitud

Se definen los estimadores de mxima verosimilitud de los parmetros como
aquellos que maximizan la funcin de verosimilitud:

L
= 0, i = 1, 2,...m
i
NB: La definicin no garantiza que los estimadores MV sean ptimos en
absoluto! En general, sin embargo, suelen ser la aproximacin ms aceptable
al problema de estimar parmetros.

Ejemplo: Distribucin exponencial

Suponer que se han medido los tiempos de desintegracin (propios) de una
muestra de leptones tau, obtenindose un conjunto de valores t1,t2,...tn.
Escogemos como HIPTESIS para la distribucin de los ti una pdf
exponencial con media .

1 t /
f (t; ) = e

Nuestro objetivo es estimar el valor del parmetro . Para ello usamos la

funcin de verosimilitud (de hecho, su logaritmo, ms fcil de manejar)
n

1 t
log L( ) = log f (t i ; ) = (log i )

i =1
i =1
log L( )
1
1
= 0 ( 2 ) + (t i )( 2 ) =

i =1
n

1 n
= 2 ti = 0
i =1

1 n
= t i
n i =1

Valor esperado:

1 n
1 n
= t i E[ ] = =
n i =1
n i =1

inmediato de calcular, puesto que el estimador es la media muestral, cuyo valor

esperado coincide con la media poblacional, esto es con . Por lo tanto el
estimador no tiene sesgo.
Supongamos que en lugar de la vida media queremos calcular la constante de
desintegracin = 1/ :
= ( )
= 1/ slo es un estimador sin
L L
=
sesgo de en el lmite de alto n!

L
L

Es decir: El estimador MV de una

=0
= 0 siempre que
0
funcin del parmetro , a=a() no es

1
n
ms que a=a().
= = n

Pero si es un estimador sin sesgo

ti
i =1
de no necesariamente a es un
n
1 n
E[ ] =
=
estimador sin sesgo de a()
n 1 n 1

Ejemplo: Estimadores MV de una gausiana

Considerar n medidas de x que asumimos distribuidas de acuerdo a una pdf
gausiana. La funcin de verosimilitud es:
1
(x )2
log L( , ) = log f (x;, ) = log
exp
2
2 2

2
i =1
i =1
n

1
1 (x )2
= log
+ log 2

2 2
2 2
i=1
log L
1 n
1 n
= 0 2 (x ) = 0 = xi

i=1
n i=1
E[ ] = no tiene sesgo
n

log L
1 n
2
2

=
0

=
(x

i
2
n i=1
n 1 2
E[ 2 ] =
2 no tiene sesgo en el lmite asinttico
n
NB la varianza muestral es siempre un estimador sin sesgo
pero no es un estimador MV!
1 n
s =
(xi )2

n 1 i=1
2

Varianza de los estimadores MV

La varianza de un estimador nos proporciona una medida de la
incertidumbre estadstica en el conocimiento de dicho estimador. Esto es:
Si repetimos muchas veces el experimento (con n medidas en cada caso)
y obtenemos cada vez, cunto se esparcen sus valores --entorno al
valor medio, si no hay sesgo--?
Para ello, calculamos la varianza de .
Tcnicas para calcular la varianza :
Analtica (slo en algunos casos sencillos)
Monte Carlo
Mtodos numricos

Analtica para el
caso de la pdf
exponencial

Monte Carlo: Muchos

experimentos, cada uno
con n fijo. La varianza
viene dada por la
dispersin del estimador
entorno al valor medio

Desigualdad RCF
Rao-Cramr-Frechet: Para un estimador arbitrario se verifica que:
b 2
)

V[ ]
2 log L
E[
]
2

(1 +

Decimos que un estimador es eficiente (y sin sesgo) cuando se verifica la

igualdad estricta. Este es el caso, a menudo con estimadores MV (a
veces en el lmite asinttico). Otras veces se utiliza la igualdad como una
aproximacin. En estos casos:
2
2

log
L

log L
1

V[ ] = E[
], Vij = E[
]
2

i j
1

Mtodo numrico para calcular la varianza de un estimador

MV
Consideremos el parmetro : Expandiendo log (L) en serie de Taylor entorno
al estimador
1 2 log L
log L

)2 + ...
log L( ) = log L( ) +
(

)
+
(

2
2! =
=

Alrededor de logL es mxima y

por tanto la primera derivada se
cancela. Utilizando RCF
(asumiendo que el estimador es
eficiente y sin sesgo)

( )2
log L( ) = log Lmax

2
Para obtener cambiamos
alejndonos de q hasta que log L
disminuye en 1/2

log L( ) = log Lmax

2