Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Multivariante Tema 5 PDF
Multivariante Tema 5 PDF
5.1. Introduccion
Una vez conocidos los estimadores maximo verosmiles de y y, por tanto, los de cualquier funcion de
dichos parametros va el teorema de Zehna, nos planteamos la distribucion en el muestreo de dichos estimadores.
El principal motivo para conocer las distribuciones de los estimadores esta en poder abordar la segunda
parte de la inferencia acerca de la poblacion: el contraste de hipotesis. Estos contrastes pueden ser de muy
diversos tipos:
H0 : = 0 H0 : (1) = 0 H0 : C = 0
Sobre el vector media: , ,
H1 : 6= 0 H1 : (1) 6= 0 H1 : C 6= 0
H0 : = 0 H0 : = I p
Sobre la matriz de covarianzas: ,
H1 : 6= 0 H1 : 6= Ip
)
2
H0 : ij = 0 H0 : Ri|1,...q =0
Sobre coeficientes de correlacion: , 2
H1 : ij 6= 0 H1 : Ri|1,...q 6= 0
asociados a los cuales aparecen unos estadsticos de contraste que vienen expresados en terminos de los esti-
madores anteriores.
En este tema seguiremos los siguientes pasos:
Obtencion de la distribucion exacta de
b = X en el caso normal.
Obtencion de la distribucion asintotica de X en una poblacion cualquiera.
Obtencion de la distribucion asintotica de la matriz S en una poblacion cualquiera.
Obtencion de la distribucion exacta de
b = S en el caso normal (ley de Wishart).
47
48 Francisco de Ass Torres Ruiz
Teorema 5.2.1. Sea X ; Np [; ] y sea X1 , . . . , XN una muestra aleatoria simple extrada de dicha poblacion.
Entonces se verifica
1
X ; Np ; o, equivalentemente, N 2 X ; Np [0; ]
N
N N
1 X X Xj
Demostracion. La demostracion es inmediata ya que X = Xj = , por lo que estamos en condi-
N j=1 j=1
N
1
ciones de aplicar el lema anterior tomando i = , j = y j = , j = 1, . . . , N .
N
Teorema 5.3.1. (de continuidad de funciones caractersticas). Sea {Fn } una sucesion de funciones de distri-
bucion y n las correspondientes funciones caractersticas. Entonces
c
Fn F lm n (t) = (t), t R
n
A continuacion exponemos el resultado que proporciona la distribucion planteada, resultado que no es mas
que un caso concreto del Teorema Central del Lmite para vectores aleatorios independientes e identicamente
distribuidos.
Teorema 5.3.2. Sea {X }1 una sucesion de vectores aleatorios p-dimensionales independientes e identi-
N
1 X
camente distribuidos con media y matriz de covarianzas . Para cada N 1 fijo sea XN = X , y
N =1
consideremos la sucesion {XN }, N 1. Entonces se verifica
N
1 X d
N (XN ) = (X ) ; Np [0; ]
N =1 N
( N
)
X
21
Demostracion. Consideremos la sucesion de variables YN = N (X ) y la de sus correspon-
=1 N 1
dientes funciones caractersticas {N }N 1 .
La idea de la demostracion es comprobar que la sucesion de funciones caractersticas {N } converge a
la funcion caracterstica de la ley normal Np [0; ] y por tanto, en virtud del teorema de continuidad de
funciones caractersticas, se obtendra el resultado.
La tecnica que vamos a usar sera la de pasar el problema al caso unidimensional.
Sea t Rp y consideremos la sucesion de variables aleatorias unidimensionales {t0 YN }N 1 y la de sus funciones
caractersticas {gN }N 1 . Ahora bien
" N
!#
h i
i(t0 YN ) 12
X
0 0
gN (, t) = E e = E exp iN (t X t ) , R, t Rp
=1
Observemos que las variables t0 X t0 son independientes e identicamente distribuidas con media cero y
varianza t0 t.
Aplicando el Teorema Central del Lmite para el caso unidimensional1 , la sucesion t0 YN converge a una
normal N1 [0; t0 t] y as
1
gN (, t) exp 2 t0 t , R, t Rp
N 2
en particular, para = 1,
h 0 i 1
gN (1, t) = E eit YN = N (t) exp t0 t ,
N 2
N
X
1
Si {XN }N 1 es una sucesion de variables aleatorias i.i.d. con varianza finita, y notamos por SN = Xi , entonces
i=1
SN E[SN ]
p N1 [0, 1]
V ar[SN ] n
N
X N
X
(X XN )(X XN )0 = (X )(X )0 N (XN )(XN )0 . Nuestro interes radica aho-
=1 =1
ra en saber el comportamiento de la sucesion {AN }N 1 , que es una sucesion de matrices aleatorias. Por lo
tanto se hace indispensable el empleo de la operacion Vec.
Llamemos Z = (X )(X )0 , que adopta la forma
(X,1 1 )2
(X,1 1 )(X,2 2 ) (X,1 1 )(X,p p )
(X,1 1 )(X,2 2 ) (X,2 2 )2 (X,2 2 )(X,p p )
Z = .
. .
. . . ..
. . . .
(X,1 1 )(X,p p ) (X,2 2 )(X,p p ) (X,p p )2 pp
y por tanto
(X,1 1 )2
(X,1 1 )(X,2 2 )
..
.
(X,1 1 )(X,p p )
..
Vec [Z ] =
.
(X,1 1 )(X,p p )
(X,2 2 )(X,p p )
..
.
(X,p p )2 p2 1
Notemos que, como en Vec [Z ] hay muchos elementos repetidos, ello conduce a que la matriz V tenga filas
iguales, por lo que no puede ser definida positiva sino semidefinida.
Para terminar con esta descripcion, en lo que sigue supondremos que todos los momentos de orden cuatro
son finitos.
Recordemos ahora algunos resultados previos que se van a utilizar con posterioridad:
Resultado 5.4.1. Dada {X }1 una sucesion de vectores aleatorios independientes e identicamente distri-
buidos con E[X ] = y Cov[X ] = , entonces
N
1 X d
(X ) ; Np [0; ]
N =1 N
Resultado 5.4.2. Si una sucesion de variables aleatorias independientes e identicamente distribuidas {YN }N 1
converge en distribucion a Y y si otra sucesion de variables independientes e identicamente distribuidas
{ZN }N 1 converge en probabilidad a cero, entonces
d
{YN ZN } Y
N
Resultado 5.4.3. Si una sucesion de variables aleatorias independientes e identicamente distribuidas {XN }N 1
converge en distribucion a X y si otra sucesion de variables independientes e identicamente distribuidas
d P
{YN }N 1 converge en probabilidad a c, entonces XN YN Xc si c 6= 0 y XN YN 0 si c = 0
N N
Teorema 5.4.1. Sean {X }1 vectores aleatorios independientes e identicamente distribuidos con E[X ] =
N
1 X
y Cov[X ] = y con momentos de cuarto orden finitos. Sean, para cada N fijo, XN = X y AN =
N =1
N
X
(X XN )(X XN )0 . Entonces
=1
1 d
N 2 [AN N ] ; Np2 [0; V]
N
en el sentido de que
1 d
N 2 [Vec[AN ] N Vec[]] ; Np2 [0; V]
N
con V = Cov [Vec[(X )(X )0 ]], o sea, la matriz de momentos de cuarto orden de las variables X .
Demostracion. Llamando Z = (X )(X )0 y BN = (XN )(XN )0 , podemos escribir
N
X
AN = Z N BN
=1
N
X
Vectorizando la ultima expresion se tiene Vec[AN ] = Vec[Z ] N Vec[BN ] Sea ahora
=1
" N
#
1 1 X 1
[Vec[AN ] N Vec[]] = [Vec[Z ] Vec[]] N 2 Vec[BN ]
N N =1
Por ultimo, podemos comentar que, en general, el calculo de V es bastante complicado. No obstante la
cuestion se simplifica bastante en el caso de las distribuciones elpticas y, en particular, en el caso de la ley normal
ya que en ese caso se sabe que los momentos de cuarto orden vienen dados por la expresion ik jl + il jk ,
i, j, k, l = 1, . . . , p.
La distribucion exacta de la matriz de dispersiones (si bien solo en cuanto a como lo hace, sin proporcionar
la densidad).
La independencia entre X y A.
Ademas, conocer la forma en que se distribuye la matriz de dispersiones (aunque no se sepa la densidad de
forma explcita) es fundamental para poder abordar el caracter definido positivo de la misma, hecho que fue
fundamental para obtener la estimacion maximo verosmil de la matriz de covarianzas .
Dicho caracter definido positivo, y las condiciones bajo las cuales se verifica, estan recogidos en el Teorema
de Dykstra. Necesitamos una serie de resultados previos.
N
X
Y = c X Np [v ; ]
=1
N
X
con v = c , siendo las variables Y independientes.
=1
N
X
puesto que al ser C ortogonal se tiene que c2 = 1, = 1, , N . Por lo tanto Y Np [v ; ].
=1
Por otro lado, calculemos la funcion caracterstica de la distribucion conjunta de (Y1 , . . . , YN ). Sea t =
N
N N
!0 N
!
Y X 1 X X
= exp i t0 c t c t c
=1
2 =1 =1
=1
! !
N X N N N N
X 1 X X X
= exp i t0 c t0 c t c
2
=1 =1 =1 =1 =1
N N N X N X N
X X 1 X
= exp i t0 c c c t0 t
=1
2
=1 =1 =1 =1
N N X N N
X 1 X X
= exp i t0 v t0 t c c
=1
2 =1 =1 =1
N N N
!
X
0 1 XX 0
= exp i t v t t
=1
2 =1 =1
N N
! N
X
0 1X 0 Y
= exp i t v t t = Y (t )
=1
2 =1 =1
Demostracion
N N
N
"
N
#0 N X
N X
N
X X X X X
0
Y Y = c X c X = c c X X0
=1 =1 =1 =1 =1 =1 =1
N X
X N X
N N X
X N N
X
= c c X X0 = X X0 = X X0
=1 =1 =1 =1 =1 =1
N
X 1 1
1. ZN Np [VN ; ] con VN = = N 2 .
=1
N
N
X
2. Para = 1, , N 1, Z Np [V ; ] con V = b = 0 ya que B es ortogonal y la ultima fila
=1
suya es proporcional al vector (1, . . . , 1)0 .
Ademas
N
X 1 1 1 1
1. ZN = X = N X = N 2 X, por lo que X = N 2 ZN y con ello se verifica X Np ; .
N N N
=1
N N N N 1
X X 0 X X
2. A = (X X)(X X)0 = X X0 N XX = Z Z0 ZN Z0N = Z Z0 .
=1 =1 =1 =1
3. Como las variables Z son independientes (por el lema 5.4.2), X lo ha de ser de A y de esta forma la
N
X 1
matriz de dispersiones muestrales se distribuye como lo haga Z Z0
=1
Veamos a continuacion el ya citado Teorema de Dykstra (1970) que proporciona una condicion bajo la cual la
matriz de dispersiones muestral A (y por tanto la de covarianzas muestral S) es definida positiva.
Teorema 5.5.2. (de Dykstra). La matriz de dispersiones muestral respecto de la media, A, obtenida a partir de
una muestra de tamano N procedente de una poblacion Np [; ], ( > 0) es definida positiva con probabilidad
uno si y solo s N > p (n = N 1 p)
Demostracion. En primer lugar, recordemos que el teorema de Fisher multivariante nos asegura que A = Z0 Z
donde Z0 = [Z1 , , ZN 1 ]p(N 1) siendo las variables Zi independientes e identicamente distribuidas segun
una normal Np [0; ].
Tengamos en cuenta dos cuestiones importantes:
Puesto que A = Z0 Z es, al menos, semidefinida positiva, es suficiente probar que Z0 Z es no singular con
probabilidad uno s y solo s N > p.
Como rg(Z) = rg(Z0 ) = rg(Z0 Z) bastara con probar que rg(Z0 ) (o rg(Z)) es p con probabilidad uno s y
solo s N > p.
1. Si A es definida positiva entonces N > p. En efecto, si N p entonces N 1 < p y por lo tanto rg(Z0 )
sera como mucho N 1. Con ello rg(A) = rg(Z0 ) < p y A no podra ser definida positiva.
Comentario 5.5.1. En este teorema ha sido fundamental el hecho de la normalidad. No obstante, Eaton y
Perlman (1973) generalizaron este resultado en el siguiente sentido:
La matriz de covarianzas muestral formada a partir de N vectores independientes e identicamente distri-
buidas (no necesariamente normales) con N > p es definida positiva con probabilidad uno s y solo s P[Xi
Fs ] = 0, Fs , 0 s < p, donde Fs = {x} + Fs(o) , o sea, la traslacion de un subespacio s-dimensional, cuestion
que la normal con definida positiva asegura.
5.6. Complementos
5.6.1. Operacion Vec y producto Kronecker de matrices
Operacion Vec
El tratamiento sobre matrices aleatorias debe ser visto como una extension del que se realiza para vectores. Por
ello lo habitual es vectorizar dicha matriz, o sea, tratarla como un vector sin mas que tener en cuenta que los
espacios Mnq (espacio vectorial de las matrices de dimension n q) y Rnq son isomorfos. Evidentemente esta
es una solucion comoda que sera util si somos capaces de conocer bien los mecanismos que ligan las expresiones
matriciales y vectorizadas.
Definicion 5.6.1. Sea Xnq . Se define Vec(X) como el vector de dimension nq 1 formado al apilar las
columnas de X una tras otra, o sea, si notamos por columnas X = [x1 , x2 . . . , xq ],
x1
x2
Vec(X) = .
..
.
xq
Demostracion. Sean a, b R y X, Y Mnq . Entonces Vec(aX + bY) = a Vec(X) + b Vec(Y), por lo que la
aplicacion es lineal.
Llamemos {ei : i = 1, . . . , nq} y {Jij : i = 1, . . . , n; j = 1, . . . , q} a las bases canonicas respectivas de Rnq y
Mnq .
La aplicacion Vec aplica la base de Mnq en la de Rnq en la forma Vec(Jij ) = e(j1)n+i . En cuanto a su
inversa, dado zh Rnq se verifica
Ejemplo 5.6.1. Sean X1 , . . . , XN vectores aleatorios p-dimensionales con igual media . Consideremos la
0
matriz aleatoria XN p = [X1 , . . . , XN ] y sea el vector
X1
X2
Vec(X0 ) = . .
..
XN
Entonces, si notamos 1N al vector N dimensional cuyas componentes son todas iguales a uno, se verifica
0 0
E [Vec(X )] = .. = Vec ([, , . . . , ]) = Vec(1N ) .
.
Comentario 5.6.1. En ocasiones estaremos interesados en calcular la esperanza matematica de una cierta
matriz aleatoria. Sin embargo habra situaciones en las que dicho calculo sera mas facil realizarlo si calculamos
la esperanza de su vectorizacion y despues, en virtud del isomorfismo anterior, deshacemos dicho proceso.
Ejemplo 5.6.2. Continuando con el ejemplo 1, supongamos que X1 , . . . , XN son independientes y con igual
matriz de covarianzas . Entonces,
h i
0
Cov [Vec(X0 )] = E [Vec(X0 ) E [Vec(X0 )]] [Vec(X0 ) E [Vec(X0 )]]
X1 0 0
X2 0 0
0 0
= E (X ) , . . . , (X ) = .
.. 1 N .. .. ..
. . . . 0
XN 0 0
Definicion 5.6.2. Sean Amn y Bpq dos matrices. Se define el producto Kronecker de ellas como la matriz,
de dimensiones mp nq,
a11 B a12 B . . . a1n B
a21 B a22 B . . . a2n B
i = 1, . . . , m
AB= = (aij B)ij ;
.. .. .. .. j = 1, . . . , n
. . . .
am1 B am2 B . . . amn B
a) (A C) + (B C) = (A + B) C, (A C) + (A D) = A (C + D).
b) (A + B) (C + D) = (A C) + (A D) + (B C) + (B D).
3. Dadas Amn , Bpq , Crs , (A B) C = A (B C).
4. Dadas Amn , Bnp , Cqr y Drs , (A C)(B D) = AB CD.
5. Si Amm y Bnn son no singulares, (A B)1 = A1 B1 .
6. Dadas Amn y Bpq , (A B)0 = A0 B0 .
7. Si Amm y Bnn son ortogonales, A B es ortogonal.
8. Si Amm y Bnn son matrices triangulares superiores (inferiores), entonces A B es triangular superior
(inferior).
9. Si Amm y Bnn son definidas positivas, entonces A B es definida positiva.
10. Dadas Amn = [A1 , . . . , Ak ] y Bpq , entonces A B = [A1 B, . . . , Ak B]. En particular, si am1
y bp1 son dos vectores se tiene a b0 = ab0 = b0 a.
11. Dadas Amm y Bnn , entonces tr[A B] = tr[A] tr[B].
A11 A12 A11 B A12 B
12. Dadas Amn = y Bpq , entonces A B = .
A21 A22 A21 B A22 B
13. Sean Amm y Bnn matrices reales con autovalores reales respectivos 1 , . . . , m y 1 , . . . , n . Entonces
A B tiene como autovalores i j , i = 1, . . . , m; j = 1, . . . , n. Como consecuencia rg(A B) =
rg(A) rg(B) y | A B |=| A |n | B |m .
Como extension del producto Kronecker tenemos
Definicion 5.6.3. (Doble producto Kronecker, Rao y Mitra (1971)). Sean Amn y Bpq dos matrices parti-
cionadas en vr y gk submatrices, Aij de dimensiones mi nj y Bst de dimensiones ps qt , respectivamente.
Se define el doble producto Kronecker como la matriz mp nq
(A B)11 . . . (A B)1k
AB=
.. .. ..
. . .
(A B)g1 ... (A B)gk
donde (A B)s,t viene dada por la matriz de orden mps nqt
A11 Bst ... A1r Bst
(A B)s,t = [Aij Bst ] = .. .. ..
.
. . .
Av1 Bst ... Avr Bst
Algunas propiedades son las siguientes:
1. (A B)0 = A0 B0 .
2. A (B C) = (A B) C.
3. A (B + C) = A B + A C.
4. (A B)(C D) = AC BD.
Relaciones entre las operaciones Vec y el producto Kronecker
Sabemos que dados X1 , . . . , XN vectores aleatorios p-dimensionales con igual media y dada la matriz
0
aleatoria XN p = [x1 , . . . , xN ] , entonces
0 0
E [Vec(X )] = Vec ([, , . . . , ]) = Vec(1N )
y, a la vista de la definicion de producto Kronecker, es inmediato comprobar que esa expresion no es mas que
1N , lo cual es una primera (y evidente) muestra de que ambas operaciones pueden conducir a resultados
relacionados entre ellas.
A continuacion vamos a exponer algunas propiedades que ponen en relacion las dos operaciones introduci-
das.
Demostracion
1. Sea {Jij : i = 1, . . . , n; j = 1, . . . , q} la base canonica de Mnq y {ek : k = 1, . . . , nq} la de Rnq . Por un
lado tenemos
Xn X q
b a = (bj a)j = bj ai e(j1)n+i
i=1 j=1
2. Es inmediato ya que
n
X n
X n
X
Vec(In ) = Vec(Jii ) = Vec(ei e0i ) = (ei ei ) .
i=1 i=1 i=1
de donde se concluye sin mas que sumar en i y en j y aplicar el apartado anterior. Con ello
X q
n X n
X q
X
(Jij Jij ) = (ei ei ) (vj vj )0 = Vec(In ) Vec0 (Iq ) .
i=1 j=1 i=1 j=1
= (C0 A) Vec(B) .
5. Sea C = AB. Notemos por a0i y bi a las i-esima fila e i-esima columna de A y B respectivamente.
Entonces cii = a0i bi . Con ello se tiene
n
X n
X
tr[AB] = cii = a0i bi .
i=1 i=1
Definicion 5.6.4. Sea Yrs una matriz aleatoria. Sean Mrs , Crr y Dss con C y D definidas positivas.
Se dice que Y ; Nrs [M; C D] si y = Vec(Y0 ) ; Nrs1 [m; C D], siendo m = Vec(M0 ).
Teorema 5.6.3. Sea Yrs una matriz aleatoria normal Nrs [M; C D]. Entonces su densidad es
rs 2s r2 1 1 1 0
f (Y) = (2) 2 |C| |D| exp tr C (Y M)D (Y M)
2
Como aplicacion de la distribucion normal matricial, vamos a calcular la distribucion conjunta de una muestra
aleatoria simple procedente de una normal multivariante.
Sea, por tanto, X1 , . . . , XN una muestra aleatoria simple procedente de una poblacion Np [; ], con > 0.
0
Consideremos XN p = [X1 , . . . , XN ] y x = Vec[X0 ]. En primer lugar,
[X1 , . . . , XN ] = X0 10N = [X 1N 0 ]0 = [X 1N 0 ]0
con lo que
(X1 )0
N
X
(Xi )(Xi )0 = [X1 , . . . , XN ] .. 0 0 0
= [X 1N ] [X 1N ]
.
i=1 (XN )0
por lo que
N N
Y Y
p 21 1 1 0
f (X) = f (x) = f (Xi ) = (2) 2 || exp (Xi ) (Xi )
i=1 i=1
2
N
!
pN N 1X
= (2) 2 | | 2 etr (Xi )1 (Xi )0
2 i=1
N
!
pN N 1 1 X 0
= (2) 2 || 2 etr (Xi )(Xi )
2 i=1
pN N 1 0
= (2) 2 | | 2 etr 1 [X 1N 0 ] [X 1N 0 ]
2
pN N 1 0
= (2) 2 | | 2 etr [X 1N 0 ] 1 [X 1N 0 ]
2
y as X ; NN p [1N 0 ; IN ].
1 1
Sea ahora BN N ortogonal con la ultima fila ( , . . . , ) y consideremos YN p = BX, con lo que Vec[Y0 ] =
N N
(B Ip ) Vec[X0 ]. Por tanto
Vec[Y0 ] ; NN p [m; ]
donde (teniendo en cuenta que Vec[ab0 ] = b a, y con ello Vec[10N ] = 1N )
" 0 #
0(N
1)p
m = (B Ip )(1N ) = (B1N ) = Vec[10N B0 ] 0 0
= Vec[(B1N ) ] = Vec .
N 0
= (B Ip )(IN )(B0 Ip ) = IN .
por lo que
0(N
1)p
Y ; NN p ; IN
N 0
Si expresamos Y0 = [Y1 , . . . , YN ], se tiene
Las columnas de Y0 son independientes. En particular, si llamamos Z0 = [Y1 , . . . , YN 1 ], Z es indepen-
diente de YN .
Z ; N(N 1)p 0(N 1)p ; IN 1 , o sea, los vectores Z1 , . . . , ZN 1 son independientes e identica-
N
X 0 0
A= X X0 N XX = X0 X N XX = Z0 Z
=1