Mster en Tcnicas Estadsticas Anlisis Multivariante. Ao 2008  2009. Profesor: Csar Snchez Sellero.

Tema 3. El modelo lineal general multivariante

3.1. Presentacin del modelo.

En este tema vamos a tratar el modelo lineal general cuando la variable respuesta es multidimensional. Por lo dems seguimos en un modelo de diseo jo, esto es, la variable explicativa no se considera aleatoria. Asimismo, la variable explicativa puede ser multidimensional. El modelo queda formulado de esta manera:

Y = XB0 + U
siendo E (U ) = 0. En esta expresin del modelo lineal ahora permitimos que Y sea una matriz de respuestas, donde cada la representa a un individuo y cada columna a una variable. Desplegando las matrices quedara: Y11 Y1d x11 x1p 11 1d U11 U1d = + Yn1 Ynd xn1 xnp p1 pd Un1 Und Ntese que si d = 1 obtenemos el modelo lineal con respuesta univariante estudiado en la asignatura "Modelos de regresin".

3.2. Estimacin de los parmetros.

Pretendemos estimar la matriz de parmetros B0 y lo vamos a plantear desde el mtodo de los mnimos cuadrados. En tal caso, escogeremos como estimador aquella matriz que produzca unos residuos "ms pequeos". En el caso univariante sto se meda a travs de la suma de cuadrados de los residuos, pero ahora nos enfrentamos a una matriz de residuos o, para ser ms precisos, a n vectores ddimensionales de residuos. Denotemos 0 = XB0 . 0 contiene las medias del vector de respuestas. Entonces, para un cierto valor del parmetro B, la matriz de residuos ser

Y XB = Y
que de nuevo se puede ver como n vectores de dimensin d. Pues bien, buscamos B tal que estos n vectores sean tan pequeos como sea posible, lo cual en trminos de momentos de orden dos sera: Min(Y ) (Y ) En el caso de respuesta univariante (Y ) (Y ) es la suma de cuadrados, pero ahora es una matriz muy parecida a una matriz de covarianzas. Por tanto, nos aparece un nuevo problema, como es el de dotar de un orden a las matrices de covarianzas que justique la minimizacin. 29

30

Mster en Tcnicas Estadsticas

Denicin Sean

C y D dos matrices simtricas y semidenidas positivas (matrices de covarianzas). Diremos que C D si C D es semidenida positiva.
Entendemos esta denicin al comprobar que C D ser semidenida positiva cuando y slo cuando al proyectar en cualquier direccin guiada por un vector v Rd , obtenemos

v t Cv v t Dv = v t (C D)v 0
esto es, que la proyeccin de C tiene mayor momento de orden dos (varianza) que la proyeccin de D. Ntese que la relacin de orden que acabamos de denir es una relacin de orden parcial. Si cada individuo puede tener una media propia sin ms modelo que la restrinja, Mnd , =Y. entonces podemos conseguir que todos los residuos valgan cero tomando Si el modelo consiste en que todos los individuos tienen la misma media, entonces {(, . . . , ) : Rd } se estima mediante la media muestral: 1 Y d Y = 1 Y d Y que a su vez es el estimador mnimo-cuadrtico. Nuestra situacin es intermedia, pues hay un modelo lineal que nos exige que = XB , esto es, que pertenezca al espacio de funciones lineales de las variables explicativas. La solucin a este problema en el caso de respuesta univariante consista en considerar la matriz de proyeccin ortogonal sobre dicho espacio: 1 P = X X X X siendo = R[X ] el espacio lineal generado por las columnas de X . De este modo, los estimadores por mnimos cuadrados resultaban de proyectar el vector de respuestas sobre dicho espacio

= P Y = X X X

X Y = XB

= XX B

XY

Vamos a ver que con esta misma expresin obtenemos el estimador por mnimos cuadrados con respuesta multivariante. En denitiva, que el problema multivariante se puede resolver a travs de los d problemas univariantes dados por las d columnas de Y , y B . As, para cualquier otro valor de R[X ] podemos expresar

(Y ) (Y ) = =
ya que

+ Y Y

+ Y

+ Y

De esta manera,

= (P Y P ) (Y P Y ) = (Y ) P (In P ) Y = 0 Y

(Y ) (Y ) Y

= Y

Anlisis Multivariante

31

que es una matriz semidenida positiva, y esto para cualquier valor de . Entonces, con la . relacin de orden que hemos denido, la matriz (Y ) (Y ) alcanza su mnimo en = Por ltimo, si suponemos que los n vectores de error tienen una matriz de covarianzas comn de orden d d, podemos considerar como estimador de :

Y Y E = np np

mediante el siguiente ejemplo simulado. Consideramos dos variables explicativas con la siguiente distribucin: X1 y X2 tienen distribucin uniforme en el intervalo [0, 1] y son independientes. Consideramos dos variables respuesta, construidas de la siguiente manera:
Y1 = 1 + 2X1 + X2 + U1 Y2 = 3 + X1 X2 + U2

Ejemplo 3.1 Vamos a ilustrar el modelo lineal multivariante y la estimacin de los parmetros,

siendo

U1 U2

N2

0 0

1 1 1 2

Vamos a extraer diez observaciones de este modelo, y en base a ellas estimar los coecientes de regresin y la matriz de covarianzas del error. Despus podemos cambiar el nmero de observaciones aumentando de 10 a 100, y comprobar la mejora de las estimaciones.

3.3. Propiedades de los estimadores.

es un estimador insesgado de 0 Suponemos que E (U ) = 0. Entonces vemos que = E (P Y ) = P E (Y ) = P 0 = 0 E es un estimador insesgado de B0 y que tambin B = XX E B
1

X E (Y ) = X X

X XB0 = B0

Suponemos que las las de U son incorrelacionadas, tienen media cero y matriz de covarianzas comn = (jk )j,k{1,...,d} . Vamos a calcular la matriz de covarianzas de los vectores de (j ) = ( 1j , . . . , pj ) y (k) = ( 1k , . . . , pk ) , con j, k {1, . . . , d}: coecientes estimados

(j ) , (k) Cov

= Cov = XX

XX
1

X Y (j ) , X X
1

X Y (k)
1

X jk In X X X

= jk X X

ya que la matriz de covarianzas de las columnas j-sima y k-sima de Y es

Cov Y (j ) , Y (k) = jk In

32

Mster en Tcnicas Estadsticas

= 0 + U , donde las las de U estn incorrelacionadas, tienen media cero (j ) y el estimador y matriz de dispersin comn , y 0 = ((1) , . . . , (d) ). Sean = d j =1 bj por mnimos cuadrados de 0 , sujeto a que las columnas pertenecen a = R[X ]. = d b (j ) es el estimador lineal insesgado de con varianza mnima. Entonces
j =1 j

Teorema 3.1 Sea Y

= E/(n p) es un estimador insesgado de . En el paso (a) usamos A continuacin, vemos que que = P Y , en el paso (b) esgrimimos que P 0 = 0 y en el paso (c) denotamos mediante ui a la la i-sima de U : E = = Y (In P ) Y = (Y 0 ) (In P ) (Y 0 ) Y u1 (c) . = U (In P ) U = (u1 , . . . , un ) (In P ) . . un
n n

(a)

(b)

=
i1 =1 i2 =1

(In P )i1 ,i2 ui1 ui2

Entonces,
n n

E (E ) =
i1 =1 i2 =1

(In P )i1 ,i2 i1 ,i2 = traza (In P ) = (n p)

Teorema 3.2 Supongamos que las las de

U son independientes y tienen distribucin comn Nd (0, ), y X es una matriz n p de rango p. Entonces tiene distribucin normal de media y matriz de covarianzas segn hemos calculado. B y E = Y B son independientes. Y

E Wishartd (, n p)

Demostracin
Bajo las hiptesis de este teorema la matriz Y tiene distribucin normal mltiple. Recordamos que = X X 1 X Y B

tiene donde la matriz (X X )1 X es de orden p n y de rango p. En estas condiciones B distribucin normal cuya media y matriz de covarianzas ya han sido calculadas anteriormente.
Consideremos

Z = (In P ) Y,
que de hecho Z contiene los residuos de la regresin. Observamos que (X X )1 X (In P ) = 0, ya que (In P ) X = 0, por ser P la matriz de proyeccin ortogonal sobre el espacio generado y Z son independientes. por las columnas de X . Entonces deducimos que B

Anlisis Multivariante
y E son independientes. Por otro lado, podemos ver que E = Z Z y por tanto B
Y para terminar, escribimos E de esta manera:

33

E = U (In P ) U
y recordamos que las las de U son independientes y tienen distribucin comn Nd (0, ). Dado que la matriz (In P ) es simtrica, idempotente y de rango n p, concluimos que E Wishartd (, n p)

Teorema 3.3 Bajo el modelo del teorema anterior, con n p d,

= XB

= 1E = 1 Y n n

son los estimadores de mxima verosimilitud de y , respectivamente.

3.4. Restricciones lineales: Estimacin y contrastes.

Dado el modelo Y = + U = XB + U , supongamos que queremos estimar B sujeto a que

H0 : AB = C
siendo A una matriz conocida q p de rango q ( p), y C una matriz conocida de orden q d. En estas circunstancias, si buscamos un estimador de mnimos cuadrados bajo restricciones, nos hallamos ante el problema de optimizacin

min(Y XB ) (Y XB ) sujeto a H0 : AB = C
La resolucin de este problema sigue un camino similar al empleado en el caso univariante, y de hecho el estimador adopta la forma:

H = B XX B

A A XX

C AB

La matriz de covarianzas residual se obtiene as:

H EH = Y

H = Y XB H Y

H Y XB

El siguiente objetivo ser el contraste de la hiptesis nula H0 : AB = C . Para ello, ser de utilidad el siguiente resultado.

Teorema 3.4
(a)
C EH E = AB A XX
1 1

C AB

34

Mster en Tcnicas Estadsticas

(b) Si H0 : AB = C es cierta, entonces

E Wishartd (, n p), H = EH E Wishartd (, q )

y adems son independientes.

A continuacin exponemos diversos planteamientos para efectuar el contraste.

Extensin del univariante

Imitando las ideas que conducen al test F en el caso univariante, buscamos un estadstico que compare las matrices de covarianzas debidas al error, E , y a la hiptesis que queremos contrastar, H . As, obtenemos el estadstico de contraste

|E | |E | = (d, q, n p) |E + H | |EH |
que tiene la distribucin indicada cuando la hiptesis nula es cierta. Esto se deduce del teorema anterior y la denicin de la distribucin de Wilks. Rechazaremos la hiptesis nula cuando la matriz de covarianzas debida a la hiptesis, H , sea grande en comparacin con la matriz de covarianzas debida al error, E , o lo que es lo mismo, cuando el estadstico de Wilks anterior sea pequeo. As, si el nivel de signicacin adoptado es , rechazaremos la hiptesis nula cuando el estadstico sea inferior al cuantil de la distribucin (d, q, n p).

Procedimiento de unin-interseccin
Recordemos qu entendemos por un test de unin-interseccin.

Denicin Un test de unin-interseccin para contrastar una hiptesis H0 = a H0a es un test

cuya regin de rechazo es de la forma R = a Ra , siendo Ra la regin de rechazo para H0a .
Esta idea se aplica en problemas de inferencia multivariante, expresando la hiptesis multivariante como interseccin de hiptesis univariantes, para las cuales ya hay tests disponibles. En nuestro caso deseamos contrastar la hiptesis nula H0 : AB = C . Sea a Rd , a = 0 una direccin cualquiera, y consideremos el modelo proyectado sobre esta direccin:

y = X + u
siendo y = Y a, = Ba y u = U a. Entonces u1 , . . . , un N (0, a a) y son independientes. Adems, H0 = a H0a siendo H0a : ABa = Ca, o equivalentemente H0a : A = c, con c = Ca. Aplicamos la teora univariante para el contraste de la hiptesis nula H0a : A = c. En tal caso, = Ba H = B , H a, y las sumas residuales de cuadrados se pueden expresar as:

Q = QH =

y X H y X

= a Ea y X H = a EH a y X

Anlisis Multivariante
y el test F adopta la forma:

35

Fa =

(QH Q) /q a Ha/q = Fq,np Q/(n p) a Ea/(n p)

que sigue la distribucin Fq,np indicada si H0a es cierta. Por tanto, el test de unin-interseccin tiene como regin de aceptacin para la hiptesis nula H0 = a H0a :

{Fa k a} =

sup Fa k
a

sup
a

a Ha k1 a Ea

= {max k1 }

siendo max el mayor autovalor de HE 1 . Aqu se ha aplicado el resultado que dice: Si A es una a Aa matriz simtrica y D es una matriz simtrica denida positiva, entonces supa a Da = 1 siendo 1 1 1 1 / 2 1 el mayor autovalor de AD . Ntese que las matrices AD , D A y D AD1/2 tienen los mismos autovalores. Se acepta la hiptesis nula si max es pequeo, y se rechaza en caso contrario. Respecto de la distribucin de max , se han realizado bastantes trabajos encaminados a su determinacin o aproximacin. En ocasiones, en lugar de los autovalores de la matriz HE 1 , se consideran los autovalores de H (E + H )1 . Para ello, es preciso tener presente el siguiente resultado. Si 1 , . . . , d son los autovalores de HE 1 , entonces

1 =
son los autovalores de H (E + H )1 , y

1 d , . . . , d = 1 + 1 1 + d

1 1 = (1 d ) = (1 1 ) , . . . , 1 + 1 1 + d
son los autovalores de E (E + H )1 . De este modo, se obtiene un test equivalente si en lugar del mayor autovalor de HE 1 , que denotamos por max , se considera como estadstico de contraste el mayor autovalor de H (E + H )1 , que entonces sera max max = 1 + max Como la funcin que produce max a partir de max es creciente, el criterio sigue siendo aceptar H0 si max es pequeo y rechazar esta hiptesis si es grande. Para encontrar el valor que delimita la regin crtica podemos recurrir a las tablas del estadstico max , como la que viene en el libro de Seber (1984). Esta tabla empieza en s = min(d, q ) = 2, ya que para s = 1 pueden ocurrir dos cosas:

d = 1, en cuyo caso nos encontramos en la situacin univariante y por tanto se puede utilizar la distribucin F . q = 1, en este caso aproximamos la distribucin as max
d npd+1 Fd,npd+1 .

36

Mster en Tcnicas Estadsticas

Test de razn de verosimilitudes

H y H = EH /n, Bajo la hiptesis nula los estimadores de mxima verosimilitud de y son respectivamente, mientras que bajo la alternativa los estimadores de mxima verosimilitud son y . Entonces el estadstico de razn de verosimilitudes adopta la forma H, H L = , L = H
n/2 n/2

As,

= 2/n =

H =

|E | |E | = = |EH | |E + H |

d j =1

1 = 1 + j

(1 j )
j =1

siendo 1 , . . . , d los autovalores de HE 1 y 1 , . . . , d los autovalores de H (E + H )1 . Si H0 : AB = C es cierta, este estadstico sigue una distribucin

|E | (d, q, n p) |E + H |

Ntese que este test coincide con el propuesto como extensin del univariante.

Otros estadsticos de contraste

Se han estudiado otro tipo de estadsticos para efectuar el contraste. Destacamos los siguientes: 1. El cociente de Wilks

|H | = |E + H |
2. La traza de Lawley-Hotelling

j
j =1

(suponiendo que q d)

d 2 Tg = (n p)traza HE 1 = (n p) j =1

j = (n p)
j =1

j 1 j

3. La traza de Pillai
d

(s)

= traza H (E + H )

=
j =1

Ejemplo 3.2 Se est realizando un estudio para establecer el efecto que producen la temperatura y la humedad sobre el desarrollo de dos especies de caro domstico. Se han diseado tres valores

Anlisis Multivariante

37

de temperatura y tres valores de humedad, y en cada uno de ellos se ha realizado el recuento de individuos de cada especie. Los resultados guran en la tabla siguiente: Temperatura Humedad Euroglyphus Dermatophagoides (en grados Celsius) (en porcentaje) maynei pteronyssinus 15 60 18 15 15 70 21 16 15 80 23 13 20 60 21 17 20 70 23 14 20 80 28 14 25 60 29 19 25 70 33 15 25 80 41 12 Vamos a ajustar un modelo de regresin lineal de los recuentos de las dos especies sobre la temperatura y la humedad. Despus contrastaremos la signicacin de la temperatura, esto es, si la temperatura tiene inuencia sobre el vector bivariante de recuentos, lo cual se traduce en el modelo lineal en trminos de que los coecientes asociados a la temperatura valgan cero.

3.5. Prediccin.
Un modelo de regresin, ya sea con respuesta univariante o multivariante, permite, en primer lugar, estimar la media de la distribucin de Y para cada valor de la variable explicativa x; en segundo lugar, prever futuros valores de la variable respuesta. Por supuesto, la variable explicativa puede ser mltiple (p > 1), y en este tema adems la variable respuesta tambin puede ser mltiple (d > 1). Tanto la estimacin de la media, como la prediccin del valor de Y se obtienen sustituyendo en el modelo de regresin el valor de x. Por tanto, sus valores numricos son idnticos. Sin embargo, la precisin de estas estimaciones es distinta, como veremos a continuacin.

Estimacin de la media condicionada

Supongamos que se desea estimar el valor de la media de Y cuando la variable explicativa toma cierto valor x0 . Entonces el modelo de regresin postula que dicha media ser E (Y /X = x0 ) = x0 B , y sustituyendo los valores estimados de los parmetros, resulta

0 = x0 B Y , se puede concluir Como consecuencia del Teorema 3.2 en lo que se reere a la distribucin de B que 0 = x B Nd x B, x X X 1 x0 Y
0 0 0

Adems, usando que E Wd (, n p), segn establece el mismo teorema, un pivote para

38

Mster en Tcnicas Estadsticas

construir regiones de conanza para la media condicionada sera 1 E x0 B x0 B x0 B x0 B 2 (d, n p) np x0 (X X )1 x0 x0 (X X )1 x0

Prediccin de una nueva observacin

Para predecir el valor concreto que tomar la variable Y (y no slo su media, como hacamos 0 , pero debemos pensar no en cmo Y 0 se aproxima a la antes), vamos a usar el mismo valor Y media condicionada E (Y /X = x0 ) = x0 B , sino en cmo se aproxima a la nueva observacin Y0 = x0 B + U0 .

0 ) = E (Y0 ), pero ahora debemos pensar en la siguiente distribucin Es fcil ver que E (Y 0 Y0 Nd 0, 1 + x0 X X Y
y el pivote
1

x0

Y0 x0 B 1 + x0 (X X )1 x0

E np

Y0 x0 B 1 + x0 (X X )1 x0

2 (d, n p)

Ejemplo 3.3 Sobre el ejemplo anterior, referido a dos especies de caro domstico, realizaremos una prediccin del nmero de individuos de cada especie para una temperatura de 22o C y una humedad del 65%, y obtendremos una regin de conanza para la estimacin de la media en esas condiciones y otra para la prediccin, en ambos casos con un nivel de conanza del 95%.
Bibliografa.
Anderson, T.W. (2003). An introduction to multivariate statistical analysis. Wiley. Johnson, R.A. y Wichern, D.W. (1982). Applied multivariate statistical analysis. Prentice-Hall. Mardia, K.V., Kent, J.T. y Bibby, J.M. (1979). Multivariate analysis. Academic Press. Seber, G.A.F. (1984). Multivariate observations. Wiley.