Distribuciones multivariadas

Si X1 , X2 , . . . , Xp son variables aleatorias discretas, deniremos la

funci
on de probabilidad conjunta de X como

p(x) = p(x1 , x2 , . . . , xk ) = P (X1 = x1 , X2 = x2 , . . . , Xp = xp )

Propiedades:
p(x) 0 para todo x.


p(x) = 1, donde la suma se toma sobre todos los posibles valores
de x.

La funci
on de probabilidad marginal para la variable Xi se dene como

pi (xi ) = P (Xi = xi ) = p(x1 , . . . , xi , . . . , xp )

donde la suma se realiza sobre todos x tales que su i-esima componente

es xi .

Diremos que X1 , X2 , . . . , Xp son independientes si

p

p(x) = pi (xi )
i=1

9
Recordemos que la probabilidad condicional del evento A dado que
ocurre el evento B se dene como:

P (A B)
P (A|B) =
P (B)

An alogamente, si X1 y X2 son variables aleatorias discretas, deniremos

on de probabilidad condicional de X1 dado X2 = x2 como
la funci

p(x1 , x2 )
p(x1 |x2 ) = P (X1 = x1 |X2 = x2 ) =
p(x2 )

Con mayor generalidad, puede denirse

p(x)
p(x1 , . . . , xk |xk+1 , . . . , xp ) =
p(xk+1 , . . . , xp )

En el caso de variables aleatorias continuas, deniremos analogos para

la funci
on de densidad y la funci on de distribuci on. La funci
on de
distribuci
on conjunta de X1 , X2 , . . . , Xp se denir
a como

F (x) = F (x1 , . . . , xp ) = P (X1 x1 , . . . , Xp xp )

(N
otese que esta denicion es valida tambien para variables discretas)

10
La funci
on de densidad conjunta es la funci
on f (x) = f (x1 , . . . , xp ) tal
que
 x1  xp
F (x) = ... f (u1 , . . . , up )du1 . . . dup

En este caso,

p F (x1 , . . . , xp )
f (x) =
x1 x2 . . . xp

La funci
on de densidad conjunta satisface las siguientes propiedades:
f (x) 0 para todo x.
 

. . .
f (x)dx1 . . . dxp = 1.

Distribuciones marginales y condicionales pueden ser denidas en el

caso continuo de manera analoga al caso discreto.
 
fi (xi ) = ... f (x)dx1 . . . dxi1 dxi+1 . . . dxp = 1

f (x1 , x2 )
f (x1 |x2 ) =
f (x2 )
o, mas generalmente,

f (x)
f (x1 , . . . , xk |xk+1 , . . . , xp ) =
f (xk+1 , . . . , xp )

11
 Medias, varianzas y correlaciones

El valor esperado de X es el vector T = [1 , . . . , p ] tal que


i = E(Xi ) = xfi (x)dx

es la media de la i-esima componente de X. (Si Xi es discreta,

i = E(Xi ) = xpi (x))

La varianza de la i-esima componente de X viene dada por

i2 = V ar(Xi ) = E(Xi i )2 = EXi2 2i

La covarianza de dos variables Xi y Xj se dene como

ij = Cov(Xi , Xj ) = E[(Xi i )(Xj j )] = E(Xi Xj ) i j

otese que ii = i2
N

12
Cuando se trabaja con p variables, se tienen p varianzas y 12 p(p 1)
covarianzas. En este caso, es u
til presentar todas estas cantidades en
una matriz p p de la siguiente manera:

12 12 ... 1p


12 22 ... 2p
=
..


.

p1 p2 ... p2

Esta matriz se denomina matriz de dispersi

on, matriz de variancia y
covarianza o simplemente matriz de covarianza. N
otese que esta matriz
es simetrica.

puede tambien escribirse en alguna de las siguientes formas:

= E[(X )(X )T ]
= E[XXT ] T

13
Consideremos ahora la variable aleatoria univariada Y denida como
una combinacion lineal de X1 , . . . , Xp . En ese caso

Y = aT X

donde aT = [a1 , a2 , . . . , ap ] es un vector de constantes. Entonces

E(Y ) = aT

y
V ar(Y ) = aT a

Estos resultados pueden generalizarse al caso en el cual A es una matriz

de constantes p m. En ese caso AT X es un vector m 1, y tiene vector
de medias y matriz de covarianza dados por las siguientes expresiones:

E(AT X) = AT

V ar(AT X) = AT A

14
La correlaci
on entre dos variables aleatorias Xi y Xj se dene como
ij
ij =
i j
Es una medida de dependencia lineal entre variables.
|ij | < 1
Si Xi y Xj son independientes, ij = 0. El recproco no es cierto.

Cuando se tienen p variables X1 , X2 , . . . , Xp , es en general conveniente

presentar las p(p 1)/2 correlaciones en una matriz simetrica cuyo
elemento ij es ij (n
otese que todos los elementos de la diagonal son 1).
Esta matriz se denomina matriz de correlaci on y se denotara por P .
Si denimos D = diag(1 , 2 , . . . , p ), puede verse que:

= DP D
P = D1 D1

Tanto como P son matrices semipositivo denidas, y tienen el mismo

rango. Si rango() = rango(P ) = p, las matrices son positivo denidas.

15
 Distribuci
on Normal multivariada

En el caso univariado, decimos que una variable aleatoria X tiene

on normal con media y varianza 2 (X N (, 2 )) si su
distribuci
funci
on de densidad tiene la forma
1
f (x) = exp[(x )2 /2 2 ]
2

En el caso multivariado, decimos que el vector X sigue una distribuci

on
normal multivariada si su funci
on de densidad conjunta es de la forma

1 1
f (x) = exp[ (x )T 1 (x )]
(2)p/2 ||1/2 2

donde es una matriz p p no singular, simetrica y positiva denida.

Si || = 0, x tienen una distribuci
on degenerada.

16
Caso Bi-variado
En este caso X = (X1 , X2 ); la media es = (1 , 2 ) y la matriz de
Varianza-Covarianza tienen la forma:

2
1 12
=
2
12 2

donde || = 12 22 (1 2 ); es la correlacion entre X1 y X2 y

12 = 1 2 es la covarianza entre X1 y X2 .
Si = 0 X1 y X2 no estan correlacionadas y adem
as son
independientes.
Si X1 y X2 son independientes esto implica que X1 y X2 no estan
correlacionadas. Esto se cumple para todas las distribuciones
bivariadas.
Si = 0 esto no implica independencia. Sin embargo esta armaci
on
si es cierta para la distribuci
on normal.

17
Distribuciones marginales normales

Y 12
Sea X = ; = Y ; = 11
Z Z 21 22
donde:
Y : q 1, 11 : q q
Z : r 1, 22 : r r
Y : q 1, 12 : q r
Z : r 1, q + r = p
Si 11 > 0 y 22 > 0, Y y Z tienen densidades:

Y N (Y , 11 )
Z N (Z , 22 )

Esto se puede demostrar calculando por ejemplo la distribuci

on
marginal de: 
g(y) = f (y, z)dz

18
Distribuciones normales condicionales
Sea X : p 1 un vector de variables aleatorias tal que:

X N (, )

Entonces la distribuci
on condicional:

Y |Z = z N (Y + 12 1
22 (z Z ), 11,2 )

donde 11,2 = 11 12 1
22 21 .

En el caso bi-dimensional: X = (X1 , X2 ) ; = (1 , 2 )

11 = 12 , 12 = 1 2 , 22 = 22 y 11,2 = 12 (1 2 )

19
 Media muestral y matriz de covarianza
muestral

Sean X1 , X2 , . . . , Xn observaciones de una variable aleatoria Xp1 .

Entonces el vector de medias muestrales se calcula como

X
,1

X,2
X =
..
.


X.p

1

n
.j =
donde X Xij .
n i=1

La matriz de covarianza muestral S contiene los siguientes elementos:

n
X .j )2
i=1 (Xij
sjj =
n1

n
i=1 (Xij X.j )(Xik X.k )

sjk = , i = j
n1

S puede escribirse con n11

X T X , donde

X X ,1 X12 X ,2 . . . X1p X.p

11

X21 X ,1 X22 X ,2 . . . X2p X.p


X =
..
.

Xn1 X ,1 Xn2 X ,2 . . . .p
Xnp X

20
La matriz de correlacion muestral R tiene elementos
sjk
rjk =
sj sk

(N
otese que si j = k, rjk = 1)
1 T
R puede escribirse como R = n1 X X, donde

(X11 X ,1 )/s1 ,2 )/s2
(X12 X ...
(X1p X.p )/sp

.p )/sp
(X21 X ,1 )/s1 (X22 X
,2 )/s2 ... (X2p X
=
X
..
.

(Xn1 X ,1 )/s1 (Xn2 X
,2 )/s2 ... (Xnp X
.p )/sp

La matriz de covarianza muestral y la matriz de correlacion muestral se

relacionan a traves de la expresion

R = D1/2 SD1/2

donde D = diag(s21 , s22 , . . . , s2p ).

Teorema del Lmite Central Multivariado

Si las las de la matriz de datos X representan una muestra de una
variable aleatoria multivariada X con E(X) = y Cov(X) = ,
entonces la distribuci
on asint es una normal multivariada con
otica de X
vector de medias y matriz de covarianza n1 .

21