Multivariante Curso 06 - 07 1

Calculo matricial
Introduccion
La informacion de partida en el analisis multivariante es una tabla de datos correspondiente a
la medicion de distintas variables sobre varios individuos. Por tanto su manejo se facilita con
el uso de vectores y matrices y sus propiedades.
Tambien sera importante visualizar los datos como puntos del espacio para comprender la
estructura de los mismos y as poder buscar su rasgos comunes mas importantes, as como sus
peculiaridades.
La observacion de una variable sobre n individuos dara lugar a x un punto de R
n
o a su vector
asociado.
La observaci on simultanea de p variables sobre n individuos dara lugar a una matriz de datos
Xdonde las las recogen el valor de las p variables en cada individuo y cada columnas recoge
los valores de una variable.
Vectores
En este apartado se recuerdan las operaciones con vectores y se relacionan con la descripcion
estadstica de una variable. El conjunto de datos asociado al estudio de una variable sobre n
individuos generalmente se presentara en forma de vector columna de R
n
.
Con los vectores as obtenidos se podran realizar las siguientes operaciones:
Suma
(x: n
o
hombres en ciertas empresas, y: n
o
de mujeres en las mismas empresas,
x+y: n
o
total de trabajadores )
Producto por escalar
( cambio de unidades: x/100 cientos de trabajadores)
Transposicion
la transposicion de un vector columna da lugar a un vector la (que generalmente aso-
ciaremos a varias variables sobre un mismo individuo)
Producto escalar
x

y = y

x =

x
i
y
i
Norma o modulo del vector x
x =

x
Multivariante Curso 06 - 07 2
El producto escalar entre dos vectores x e y tambien se dene como x

y = x y cos
es decir la norma de un vector por la proyecci on del otro sobre el, as si x es unitario x

y =
modulo de la proyecci on de y sobre x.
Tambien se deduce de esta denicion que | x

y | x y (conocida como la desigualdad

de Cauchy-Schwartz)
Relacionado con el producto escalar esta el concepto de vectores ortogonales:
x,y vectores de R
n
son ortogonales si x

y = 0 cos = 0 = 90
0
Veamos ahora la relacion entre la media y la varianza con estas operaciones:
La media de un conjunto de n datos es proporcional a la proyecci on del vector asociado
sobre el vector constante (todas sus componentes iguales)
Vector unitario constante en R
n
es :
1

n
la proyeccion de x sobre este vector tiene por modulo:
1

n
x =

nx
valor de la proyecci on
1

nx = 1x
es decir la media es el escalar que dene la proyecci on del vector x sobre el vector 1
La variabilidad de los datos que mide la desviacion tpica es la distancia estandarizada
entre el vector de datos y el vector constante
S
x
=
1

n
x x1 =

(x
i
x)
2
n
La covarianza entre x e y es el producto escalar de los vectores asociados a la variabilidad
de cada uno de ellos:
cov(x, y) =
1

n
(x x1)

n
(y y1)
Para variables estandarizadas la covarianza coincide con el coeciente de correlacion
por ello ortogonalidad de vectores esta relacionada con la incorrelacion.
Los vectores sirven para denir las traslaciones que son aplicaciones de R
n
en R
n
Un conjunto de vectores x
1
, . . . , x
p
se dice que es linealmente dependiente si existen escalares
c
1
. . . c
p
no todos nulos tales que c
1
x
1
+ +c
p
x
p
= 0 o, lo que es equivalente, uno de los vectores
se puede poner como combinacion lineal de los otros.
Base de un subespacio
Espacio generado por los vectores x
1
, . . . , x
p
Dimension de un subespacio
Subespacio ortogonal a uno dado (espacio nulo asociado a un vector es el subespacio ortogonal
al mismo
Multivariante Curso 06 - 07 3
Matrices
Las matrices juegan un papel importante en el estudio de variables p-dimensionales, tanto para
presentar los datos recogidos, como asociadas a las matrices de varianzas covarianzas, que seran
matrices cuadradas simetricas y semidenidas positivas.
Entre matrices se tienen las siguientes operaciones:
1 Dadas matrices A
n,p
= (a
ij
)
ij
, B
n,p
= (b
ij
)
ij
A+B = (a
ij
+ b
ij
)
ij
A = (a
ij
)
ij
Si B
p,m
, (A*B)
n,m
= (

p
j=1
a
ij
b
jk
)
ik
2 Transpuesta de A=A
t
= (a
ji
)
(A
t
)
t
= A
(A+B)
t
= A
t
+B
t
(A*B)
t
= B
t
A
t
3 Traza de A=Tr(A) =

n
i=1
a
ii
es un operador lineal: Tr(A+B) = Tr(A)+Tr(B), Tr(B) = Tr(B)
Si A
n,p
, B
p,n
entonces Tr(A*B) = Tr(B*A).
En consecuencia Tr(A*A
t
) =

j
a
2
ij
Dados A
p,p
,

x
i
R
p
, i = 1, . . . , n, T =

n
i=1

x
i

x
t
i
entonces
Tr(A*T) =

n
i=1

x
t
i
A

x
i
.
La traza se puede considerar como una medida del tama no de la matriz, as en una matriz
de varianzas covarianzas la traza es la suma de todas las varianzas de las variables, sin
tener en cuenta sus posibles relaciones.
4 Producto de Kronecker: dadas las matrices A
n,p
, B
k,p
, A

B ==

a
11
B . . . a
1p
B
.
.
.
.
.
.
a
n1
B . . . a
np
B

A = A

c = cA.
(A

B)
t
= A
t

B
t
.
(A

B)(C

D) = AC

BD supuesto que los productos de matrices pueden

realizarse.
En estadstica este producto se utiliza para construir matrices cuyos elementos son ma-
trices repetidas, por ejemplo en bloques de variables que tengan la misma matriz de
varianzas covarianzas.
Multivariante Curso 06 - 07 4
5 Rango (A)es el n umero maximo de vectores la o columna de la matriz linealmente inde-
pendientes
Rango(A) = Rango(A
t
)
0 Rango(A) min(n, p).
Si M(A) = {y R
n
/y = Ax} se verica que dim(M(A))=Rango(A).
Si N(A) = {x R
p
/0 = Ax} = Ker(A) se verica que dim(N(A))+dim(M(A))=p.
Rango(A+B) Rango(A) + Rango(B).
Rango(A*B) Min(Rango(A), Rango(B)).
Rango(A*A
t
) = Rango(A
t
A) = Rango(A).
Si B
n,n
y C
p,p
son no singulares Rango(B*A*C) = Rango(A).
Si A
n,m
con rango(A)=m y B
m,p
con Rango(B)=p entonces Rango(A*B) = p.
Determinantes
Dada una matriz cuadrada A
p,p
se dene su determinante |A| =

(1)
||
a
1(1)
a
p(p)
donde es una permutaci on de las p columnas y || = +1 seg un el n umero de transposiciones
sea par o impar.
Dada un elemento a
ij
de una matriz cuadrada A se dene su menor asociado, M
ij
, como
el determinante de la matriz resultante de eliminar la la i y la columna j de A. Se dene el
cofactor asociado a a
ij
como C
ij
= (1)
i+j
M
ij
.
En consecuencia:
1 |A| =

p
j=1
a
ij
C
ij
=

p
i=1
a
ij
C
ij
.
2

p
j=1
a
ij
C
kj
= 0

p
i=1
a
ij
C
il
= 0.
3 Si A es una matriz triangular |A| =

p
i=1
a
ii
.
4 |A| =
p
|A|
5 |A
t
| = |A|
6 Si en una matriz se permutan dos las o columnas el determinante cambia de signo
7 una la (columna) es combinacion lineal de otras el determinante vale cero
8 Si M es una matriz cuadrada que se puede partir M =

A
p,p
B
0 C
q,q

entonces |M| =
|A||C|.
Multivariante Curso 06 - 07 5
9 Si M es una matriz cuadrada que se puede partir M =

A B
p,p
C
q,q
0

entonces |M| =
(1)
pq
|B||C|.
En consecuencia si M =

A B
p,p
I
p
0

entonces |M| = |B|.

10 Las matrices del tipo M =

I
p
0
A I
q

verican que |MC| = |C|.

11 |AB| = |A||B| (con las dimensiones adecuadas)
En el caso de vectores de R
2
el determinante de la matriz formada por dos vectores puede in-
terpretarse como el area del paralelogramo denido por los mismos. Sea A = (v
1
, v
2
) entonces:
|A
t
A| = v
t
1
v
1
v
t
2
v
2
v
t
1
v
2
v
t
2
v
1
= v
1

2
v
2

2
(1 cos
2
); de donde |A| = v
1
v
2
sin , que
es el area del paralelogramo denido por (v
1
, v
2
). Este resultado se generaliza para vectores de
R
n
. Si las variables estuviesen centradas A
t
A es la matriz de varianzas covarianzas por lo que
el determinante esta relacionado con la independencia de las variables, a mayor determinante
mayor independencia, si una variable fuese combinaci on lineal de las otras |A| sera cero y el
de su matriz de covarianzas tambien es decir determinante cero indica dependencia lineal entre
las variables.
Matriz Inversa
Dada una matriz cuadrada A
p,p
se dene su inversa A
1
como aquella que verica
A A
1
= A
1
A = I
1 La inversa si existe es unica.
2 A
1
existe si y solo si |A| = 0.
3 (A
1
)
1
= A, (A
t
)
1
= (A
1
)
t
.
4 (A)
1
=
1
A
1
, (AB)
1
= B
1
A
1
5 Dadas A
p,p
, B
p,n
, C
n,n
, D
n,p
, y si existen las inversa necesarias
(A+BCD)
1
= A
1
A
1
B(C
1
+DA
1
B)
1
DA
1
en particular
(A+bd
t
)
1
= A
1
A
1
b(1 +d
t
A
1
b)
1
d
t
A
1
(A+C)
1
= A
1
A
1
(C
1
+A
1
)
1
A
1
Estas expresiones seran utiles para calcular el cambio de la matriz de covarianzas cuando
se elimina alguna observaci on.
Multivariante Curso 06 - 07 6
6 Dada una matriz A =

A
11
A
12
A
21
A
22

los elementos de su inversa A

1
=

A
11
A
12
A
21
A
22

vienen dados, si existen las inversas necesarias, por

A
11
= (A
11
A
12
A
1
22
A
21
)
1
.
A
22
= (A
22
A
21
A
1
11
A
12
)
1
.
A
12
= A
1
11
A
12
A
22
= A
11
A
12
A
1
22
.
A
21
= A
1
22
A
21
A
11
= A
22
A
21
A
1
11
.
El manejo de las inversas por cajas es importante en el caso de la matriz de covarianzas
porque la matriz
1
va a recoger informacion sobre la varianza de las distribuciones
condicionadas
7 Dada una matriz A =

A
11
A
12
A
21
A
22

se verica que
|A| = |A
11
||A
22
A
21
A
1
11
A
12
| = |A
22
||A
11
A
12
A
1
22
A
21
|
8 Dadas A
p,p
, inversible, B
p,n
, C
n,p
entonces |A+BC| = |A||I
p
+A
1
BC| = |A||I
n
+CA
1
B|
En particular si n=1 entonces |A+bd
t
| = |A|(1 +d
t
A
1
b)
Matriz Ortogonal
Dada una matriz cuadrada A
p,p
se dice que es ortogonal si: AA
t
= I
1 |A| = +1 A
t
= A
1
2 a
t
i
a
j
=

1 i = j
0 i = j
3 Si A y B son ortogonales C=AB es ortogonal.
4 Las transformaciones por matrices ortogonales conservan las distancias.
5 Caso particular las matrices de permutaciones
Las matrices ortogonales representan un giro o una simetra respecto a un plano
Matriz Idempotentes
Dada una matriz cuadrada A
p,p
se dice que es idempotente si: AA = A
|A| = 1 o |A| = 0
Multivariante Curso 06 - 07 7
Las matrices idempotentes representan proyecciones en un subespacio de dimension igual al
rango de la matriz.
Matriz de centrado
La matriz de centrado H
n
es aquella que al aplicarla sobre un vector de datos lo transforma
en sus desviaciones respecto a la media de sus componentes.
H
n
= I
n

1
n
J
n
= I
n

1
n
11
t
1 H
n
x = (x
i
x)
i
2 H
n
1 = 0 H
n
J
n
= J
n
H
n
= 0
n
.
3 H
n
es una matriz simetrica e idempotente.
4 rango(H
n
)=n-1
5 x
t
H
n
x = x
t
H
n
H
n
x =

n
i=1
(x
i
x)
2
6 Si X
n,p
es una matriz de datos X
t
H
n
X = nS
Autovalores y Autovectores de una Matriz
Dada una matriz A
p,p
se dene su polinomio caracterstico como q() = |AI
p
|.
Se denomina autovalor de A
p,p
a las soluciones de su polinomio caracterstico.
Se denomina autovector de A
p,p
asociado al autovalor
i
a un vector x
i
que verica A x
i
=

i
x
i
( son vectores que al transformarlos por la matriz no cambian de direccion, aunque si
pueden cambiar de tama no, tambien se pueden llamar las direcciones caractersticas de la
matriz).
La interpretacion geometrica de los valores y vectores propios de una matriz simetrica A =
(a
1
, . . . , a
p
) se considera el elipsoide que pasa por los puntos determinados por estos vectores y
con centro el origen de coordenadas, los vectores propios son los ejes principales del elipsoide y
los valores propios asociados a la dimension del eje principal correspondiente.
Los vectores y valores propios asociados a la matriz de varianzas covarianzas van a ser im-
portantes en el manejo de la distribucion normal multivariante, as como en la b usqueda de
direcciones importantes en las nubes de puntos.
Se denomina autoespacio asociado a un autovalor al espacio generado por sus autovectores.
1 q() = |AI
p
| =

p
i=1
(
i
).
Multivariante Curso 06 - 07 8
2 q(0) = |A| =

p
i=1

i
.
3 Tr(A) =

p
i=1
a
ii
=

p
i=1

i
.
4 Si C es no singular A y CAC
1
tienen los mismos autovalores. Ademas si x
i
es autovector
de A asociado a
i
entonces Cx
i
lo es de CAC
1
asociado al mismo autovalor.
5 Si
i
es autovalor de A entonces
i
+ lo es de (A+I), y ademas A y (A+I) tienen los
mismos vectores propios.
6 La dimension de un autoespacio asociado a un autovalor es a lo sumo la multiplicidad de
este.
7 Teorema: Dadas las matrices A
p,n
, B
n,p
Los autovalores no nulos de AB son los mismos
que los de BA y tienen la misma multiplicidad. Si x
i
es autovector de AB asociado a un
autovalor no nulo entonces Bx
i
lo es de BA asociado al mismo autovalor.
8 Corolario: Dadas A
n,p
, B
q,n
a, b, entonces Aab
t
B tiene rango a lo sumo 1, el autovalor no
nulo, si existe, vale b
t
BAa y su autovector asociado es Aa
9 Los autovalores de una matriz simetrica son n umeros reales, y su rango coincide con el
n umero de autovalores no nulos.
10 (Descomposicion de Jordan) Toda matriz simetrica A se puede descomponer de la
forma A =
t
donde es una matriz ortogonal cuyas columnas son los autovectores
normalizados de A, es una matriz diagonal con los autovalores de A.
Como consecuencia de esta factorizacion A =
t
=
i
u
i
u
t
i
, es decir A se puede
descomponer como suma de matrices de rango 1 con los pesos
i
por tanto si un autovalor
es muy peque no A se puede reconstruir aproximadamente con los restantes autovalores y
autovectores.
11 Si A es simetrica A
n
=
n

t
.
12 Si A es simetrica y denida positiva (A > 0) se puede descomponer como producto de una
matriz por su transpuesta (esta descomposicion no es unica
1/2
o
1/2

t
) .
13 Si A es simetrica y semidenida positiva A se puede descomponer, de forma unica, como
producto de una matriz triangular inferior T por su transpuesta (descomposicion de
Cholesky), A = T T
t
.
14 Dadas A y B matrices simetricas, A denida positiva, existe una matriz H que diagonaliza
a las dos anteriores HAH
t
= I HBH
t
= D.
(H= A
1/2
C, con C la matriz de vectores propios de A
1/2
BA
1/2
.
15 Dadas A 0 y B > 0 los autovalores de B
1
A son positivos o nulos y coinciden con los
de AB
1
y con los de B
1/2
A B
1/2
.
Multivariante Curso 06 - 07 9
Formas cuadraticas
Una forma cuadratica en R
p
es una aplicacion que se puede denir a traves de una matriz
simetrica A
p,p
de la forma Q(x)= x
t
A x.
Si Q(x) > 0 x R
p
, x > 0 se dice que Q es denida positiva y A tambien.
Si Q(x) 0 x R
p
se dice que Q es semidenida positiva y A tambien .
Toda forma cuadratica x
t
Ax puede expresarse de la forma

p
i=1
y
2
i

i
con y =
t
x (es
decir mediante un cambio de base ortogonal).
Si A es denida positiva todos sus autovalores son positivos y tambien su determinante
(analogo para A semidenida positiva).
Si A es semidenida positiva entonces tambien lo es C
t
AC para cualquier C
pn
.
Si A es denida positiva y C es no singular entonces C
t
AC es denida positiva.
Si A es semidenida positiva , B es denida positiva entonces los autovalores de B
1
A
son positivos o nulos.
Teorema: Descomposicion en valores singulares
Toda matriz A
n,p
de rango r puede descomponerse como producto de tres matrices A=UDV
t
,
dos de ellas ortogonales U
n,r
, V
t
r,p
, y otra diagonal D con valores positivos, que son las races
de los autovalores positivos de AA
t
.
Los elementos de D se llaman valores singulares de la matriz A
U esta formado por los autovectores unitarios asociados a los autovalores no nulos de AA
t
V esta formado por los autovectores unitarios asociados a los autovalores no nulos de A
t
A
con esta descomposicion A se puede escribir como A =

r
i=1
d
i
u
i
v
t
i
Inversa generalizada
Se denomina inversa generalizada, o g-inversa, de una matriz A
n,p
a otra matriz A

n,p
que
verica A A

A= A.
( Lo que implica que A

A debe ser idempotente y tambien A A

) En general no es unica
salvo que se le imponen las condiciones de que A

A, A A

, A

A A

sean matrices
simetricas, obteniendose la inversa generalizada de Monroe-Penrose.
Si A es no singular A

= A
1
.
Si A
n,p
,con rango(A)=p A

= (A
t
A)
1
A
t
.
Si A
n,p
,con rango(A)=n A

= A
t
.(AA
t
)
1
.
Multivariante Curso 06 - 07 10
En general utilizando la descomposicion del valor singular A

= VD
1
U
t
.
Si A= X
t
X y G=A

se cumple
G
t
es tambien inversa generalizada de A.
GX
t
es g-inversa de X.
XGX
t
es invariante frente a G (es decir no depende de la g-inversa considerada).
XGX
t
es simetrica.
XG
t
X
t
X = X y X
t
XGX
t
= X
t
XG
t
X
t
=X
t
.
XGX
t
es idempotente.
Si y R
n
, X
n,p
, con rango(X)=p y se considera el subespacio M(X). La proyecci on de y
sobre M(X) es X(X
t
X)
1
X
t
y
Si y R
n
, X
n,p
y se considera el subespacio M(X). La proyeccion de y sobre M(X) es
X(X
t
X)

X
t
y (que es unica)
Derivadas Matriciales
Dada f una funcion de n variables que se pueden identicar con un vector x de R
n
se dene la
derivada de f respecto a x,
f
x
, como un vector cuyas componentes son (
f
x
i
)
i
.
Si f(x)=a
t
x entonces
f
x
=a
Si f(x)=x
t
x entonces
f
x
=2x
Si f(x)=x
t
Ax con A una matriz simetrica entonces
f
x
=2Ax
Dada f una funcion de np variables que se pueden identicar con una matriz X
n,p
de se dene
la derivada de f respecto a X,
f
X
, como una matriz cuyas componentes son (
f
x
ij
)
ij
.
Si f(X)=a
t
Xb entonces
f
X
=ba
t
Si f(X)=a
t
X
t
Xb entonces
f
X
=(ba
t
+ab
t
)X
t
Maximos y Mnimos
Dados y R
n
y una matriz A
n,p
la funcion (x) = (yAx)
t
(yAx) alcanza un mnimo
en x=(A
t
A)

A
t
y
Multivariante Curso 06 - 07 11
Sean A y B dos matrices simetricas, con B>0 entonces el maximo (mnimo) de x
t
Ax bajo
la condicion x
t
Bx=1 se alcanza en un autovector de B
1
A correspondiente al maximo
(mnimo) autovalor
(p)
, (
(1)
), y el valor del maximo (mnimo) es
(p)
, (
(1)
)
El maximo de f(x)=x
t
a bajo la condicion x
t
Bx=1, B>0, es (a
t
B
1
a)
1
2
. Ademas
max
x
t
Bx=1
(a
t
x)
2
= a
t
B
1
a y se alcanza en x=
B
1
a
(a
t
B
1
a)
1
2
Producto de Kronecker de matrices
Dadas dos matrices A = (a
ij
) y B se dene el producto directo o producto de Kronecker de
A y B, A B, como una nueva matriz formada por las cajas

a
11
B . . . a
1n
B
a
m1
B . . . a
mn
B

Este producto tiene las siguientes propiedades:

1. (A B) = A B = A B
2. A (B C) = (A B) C = A B C
3. (A B)

= A

4. (A B)(F G) = AF BG, siempre que las dimensiones sean adecuadas

5. (A B)
1
= A
1
B
1
6. A (B + C) = (A B) + (A C)
7. (A + B) C) = (A C) + B C
8. (AXB)
v
= (B
t
A)X
v
Teorema.- Dadas las matrices T
m,m
y B
n,n
, con T matriz triangular superior, entonces | T
B |=| T |
n
| B |
m
.
Corolario.- Dadas A
m,m
y B
n,n
entonces | A B |=| A |
n
| B |
m
.
Teorema.- Dadas A
m,m
y B
n,n
matrices reales, con autovalores
i
y
j
respectivamente entonces
los autovalores de A B son
ij
=
i

j
.