Mtodo de mxima verosimilitud

Curso de Estadstica TAE,2005 J.J. Gmez Cadenas

Muestras
Considerar una variable aleatoria x descrita por la pdf f(x). El espacio de muestras est constituido por todos los posibles valores de x. Un conjunto de n observaciones independientes de x se llama una muestra de tamao n. Es posible definir un nuevo espacio de muestras constituido por todos los posibles valores del vector x =(x1,...,xn). Es decir, la muestra se considera formada por una sola medida aleatoria, caracterizada por las cantidades (x1,...,xn). Las n medidas son independientes La pdf es la misma para cada medida

fmuestra (x1 ,...xn ) = f (x1 ) f (x2 )... f (xn )

Estimadores
Considerar la situacin donde se han realizado n medidas de una variable aleatoria cuya pdf se desconoce. El problema central de la estadstica es inferir las propiedades de f(x) basndose en las observaciones x1,...,xn). Especficamente, deseamos construir funciones de los xi para estimar las propiedades de f(x). A menudo se tiene una hiptesis para la pfd f(x;) de un parmetro desconocido (o ms generalmente de un vector de parmetros =(1,...,n)). El objetivo es entonces construir funciones de los xi que permitan estimar los parmetros . Una funcin de x1,...,xn que no contiene parmetros desconocidos se denomina estadstica. Una estadstica que se utiliza para estimar una propiedad de una pdf (media, varianza, etc.) se llama un estimador.

Notacin: El estimador de un parmetro (cuyo valor exacto no se conoce ni es obvio que pueda, en general conocerse) se suele notar como Decimos que un estimador es consistente si converge al valor autntico del parmetro en el lmite de alto n: (lmite de muestra grande o lmite asinttico).
n

lim P > = 0

El procedimiento por el cual estimamos el valor de un parmetro a partir de los datos x1,...,xn se denomina ajuste (de los datos al parmetro). Puesto que un estimador (x1,...,xn ) es una funcin de variables aleatorias, en en s mismo una variable aleatoria. Es decir, si el experimento se remite muchas veces, para cada muestra x=(x1,...,xn ) el estimador tomar valores diferentes, distribuidos de acuerdo a cierta pdf g( ; ) que depende del autntico valor de parmetro. Esta pdf se denomina distribucin de muestreo.

Sesgo
El valor esperado de un estimador con pdf g( ; ) es:

E[ ( x)] = g( ; )d = ( x) f (x1; ) f (xn ; )dx1 dxn

Definimos el sesgo del estimador como:

b = E[ ( x)]
NB: El sesgo no depende de los valores x1,...,xn de la muestra, sino del tamao de sta, de la forma funcional del estimador y de la pdf conjunta (que en general no se conoce). Decimos que un parmetro no tiene sesgo si b=0 independientemente del tamao de la muestra. Decimos que un parmetro no tiene sesgo en el lmite asinttico si b=0 cuando n tiene a infinito. Un parmetro consistente pede sin embargo estar sesgado (n finito)

Estimadores para la media: Media aritmtica

Media aritmtica o muestral:

1 n x = xi n i =1

Ley (dbil) de los nmeros grandes: Si existe la varianza de x entoces x es un estimador consistente de la media poblacional .
n

lim x =

Valor esperado de x:
1 n 1 n 1 n E[x ] = E xi = E[xi ] = i = n i =1 n i =1 n i =1

Por lo tanto la media muestral x es un estimador sin sesgo de la media poblacional .

Estimadores para la varianza y covarianza

Varianza muestral:
1 n n 2 s = (xi x ) = x2 x n 1 i =1 n 1
2 2

donde x= x

Al igual que para la media, puede demostrarse que la varianza muestral es un estimador sin sesgo de la varianza poblacional 2 . Si la media se conoce entonces tambin es un estimador sin sesgo la cantidad S2.

1 n S2 = (xi )2 = x 2 n 1 i =1

Anlogamente, un estimador sin sesgo para la covarianza es:

1 n n Vxy (xi x )(yi y ) = xy x y n 1 i =1 n 1

Varianza de la media
Dado un estimador, su varianza se define como:

V[ ] = E[ 2 ] (E[ ])2
Varianza de la media aritmtica:

1 n 1 n V[x ] = E[x 2 ] (E[x ])2 = E xi x j 2 n i =1 n j =1 1 n 1 2 = 2 E[xi x j ] 2 = 2 (n 2 n) 2 + n( 2 + 2 ) 2 = n i, j =1 n n (NB : E[xi x j ] = 2 i j, E[xi2 ] = 2 + 2 )

Es decir: la desviacin estndar de la media de n medidas de x es igual a la desviacin estndar de f(x) dividida por n.

Varianza de s2
1 n3 3 V[s ] = ( 4 2 ) n n 1
2

( n =

(x )n f (x)dx)

Un estimador del momento central de orden n es:

1 n mk = (xi x )k n 1 i =1

Mtodo de de mxima verosimilitud

Considerar x distribuida de acuerdo a f(x;q) donde q es un parmetro (o vector de parmetros) desconocido. El mtodo de mxima verosimilitud es una tcnica para estimar los valores de dada una muestra finita de datos. Supongamos n medidas de x, x1,...,xn. Puesto que las medidas son independientes, la probabilidad de que x1 est en [x1,x1+dx1], x2 en [x2,x2+dx2], es:

probabilidad de que xi est en [xi , xi + dxi ]para todo i= f(x i ; )dxi

i=1

Si la la pdf y el (los) parmetro(s) describen realmente los datos, esperamos alta probabilidad para los datos que hemos medido. Anlogamente un parmetro cuyo valor se desve mucho del autntico resultar en baja probabilidad para las medidas observadas.

Funcin de verosimilitud
P(todo xi en [xi , xi + dxi ])= f(x i ; )dxi
i=1 n

Probabilidad mxima para la pdf y parmetros correctos. Por tanto la funcin:

L( ) = f(x i ; )
i=1

Ser mxima para la pdf y parmetros correctos. En estadstica clsica L() no es la pdf de sino la pdf conjunta de los x donde: q se trata como un parmetro (del que la pdf depende) los xi estn fijados (los datos ya han sido adquiridos) En estadstica Bayesiana, podemos tratar L()=L(x|) como la pdf de x dado y a usar el teorema de Bayes para calcular la probabilidad posterior p(|x).

Estimadores de mxima verosimilitud

Se definen los estimadores de mxima verosimilitud de los parmetros como aquellos que maximizan la funcin de verosimilitud:

L = 0, i = 1, 2,...m i
NB: La definicin no garantiza que los estimadores MV sean ptimos en absoluto! En general, sin embargo, suelen ser la aproximacin ms aceptable al problema de estimar parmetros.

Ejemplo: Distribucin exponencial

Suponer que se han medido los tiempos de desintegracin (propios) de una muestra de leptones tau, obtenindose un conjunto de valores t1,t2,...tn. Escogemos como HIPTESIS para la distribucin de los ti una pdf exponencial con media .

1 t / f (t; ) = e

Nuestro objetivo es estimar el valor del parmetro . Para ello usamos la funcin de verosimilitud (de hecho, su logaritmo, ms fcil de manejar)
1 t log L( ) = log f (t i ; ) = (log i ) i =1 i =1 log L( ) 1 1 = 0 ( 2 ) + (t i )( 2 ) = i =1
n n n

1 n = 2 ti = 0 i =1

1 n = ti n i =1

Valor esperado:

1 n 1 n = t i E[ ] = = n i =1 n i =1

inmediato de calcular, puesto que el estimador es la media muestral, cuyo valor esperado coincide con la media poblacional, esto es con . Por lo tanto el estimador no tiene sesgo. Supongamos que en lugar de la vida media queremos calcular la constante de desintegracin = 1/ : = ( ) = 1/ slo es un estimador sin L L = sesgo de en el lmite de alto n! L L Es decir: El estimador MV de una =0 = 0 siempre que 0 funcin del parmetro , a=a() no es n ms que a=a(). 1 = = n Pero si es un estimador sin sesgo ti i =1 de no necesariamente a es un n 1 n E[ ] = = estimador sin sesgo de a() n 1 n 1

Ejemplo: Estimadores MV de una gausiana

Considerar n medidas de x que asumimos distribuidas de acuerdo a una pdf gausiana. La funcin de verosimilitud es:
1 (x )2 log L( , ) = log f (x;, ) = log exp 2 2 2 2 i =1 i =1
n n 2 2

1 1 (x )2 = log + log 2 2 2 2 2 i=1 log L 1 n 1 n = 0 2 (x ) = 0 = xi i=1 n i=1 E[ ] = no tiene sesgo

n

log L 1 n 2 = 0 = (xi )2 2 n i=1 n 1 2 E[ 2 ] = 2 no tiene sesgo en el lmite asinttico n NB la varianza muestral es siempre un estimador sin sesgo pero no es un estimador MV! 1 n s = (xi )2 n 1 i=1
2

Varianza de los estimadores MV

La varianza de un estimador nos proporciona una medida de la incertidumbre estadstica en el conocimiento de dicho estimador. Esto es: Si repetimos muchas veces el experimento (con n medidas en cada caso) y obtenemos cada vez, cunto se esparcen sus valores --entorno al valor medio, si no hay sesgo--? Para ello, calculamos la varianza de . Tcnicas para calcular la varianza : Analtica (slo en algunos casos sencillos) Monte Carlo Mtodos numricos

Analtica para el caso de la pdf exponencial

Monte Carlo: Muchos experimentos, cada uno con n fijo. La varianza viene dada por la dispersin del estimador entorno al valor medio

Desigualdad RCF
Rao-Cramr-Frechet: Para un estimador arbitrario se verifica que:
b 2 ) V[ ] 2 log L E[ ] 2 (1 +

Decimos que un estimador es eficiente (y sin sesgo) cuando se verifica la igualdad estricta. Este es el caso, a menudo con estimadores MV (a veces en el lmite asinttico). Otras veces se utiliza la igualdad como una aproximacin. En estos casos:

2 log L 2 log L 1 V[ ] = E[ ], Vij = E[ ] 2 i j

1

Mtodo numrico para calcular la varianza de un estimador MV

Consideremos el parmetro : Expandiendo log (L) en serie de Taylor entorno al estimador
2 ) + log L ( ) + 1 log L ( )2 + ... log L( ) = log L( 2 2! = =

Alrededor de logL es mxima y por tanto la primera derivada se cancela. Utilizando RCF (asumiendo que el estimador es eficiente y sin sesgo)

( )2 log L( ) = log Lmax 2 2

Para obtener cambiamos alejndonos de q hasta que log L disminuye en 1/2

) = log L 1 log L( max 2