ANÁLISIS MULTIVARIANTE

INTRODUCCIÓN
1. Álgebra lineal y vectores aleatorios
2. Distribución normal multivariante

ANÁLISIS DE LA MATRIZ DE COVARIANZAS

3. Componentes principales
4. Análisis factorial
5. Correlaciones canónicas

CLASIFICACIÓN
6. Análisis discriminante
7. Análisis de conglomerados

1
1. ÁLGEBRA LINEAL
Y VECTORES ALEATORIOS

 Vectores
 Ortogonalización de Gram-Schmidt
 Matrices ortogonales
 Autovalores y autovectores
 Formas cuadráticas
 Vectores y matrices aleatorias
 Matriz de datos

2
EJEMPLOS 3
Vectores

Matriz de datos: p variables observadas en n objetos

Objeto_1  x11 x12 x13  x1 p 

 
 x21 x22 x23  x2 p 
x
 31
x32 x33  x3 p   X nxp

en  p

      
Objeto_n x xn 2 xn 3  xnp 
 n1

Variable_1 Variable_p

ALGEBRA LINEAL 4
 Vectores

Dados
 x1   y1 
   
x   y  
x  y 
 p  p
se define:
1. Suma
 x1  y1 
 
x y   
x  y 
 p p 

ALGEBRA LINEAL 5
 Vectores

2. Producto de un escalar por un vector

 c  x1 
 
cx    
c  x 
 p 

3. Producto escalar de dos vectores

p
x  y  x, y  x' y   xi yi  x1 y1    x p y p
i 1

ALGEBRA LINEAL 6
 Vectores

Propiedades
x, ay  bz  a x, y  b x, z

x, y  y, x x x

x, x  0 y x, x  0  x  0

4. Norma de un vector
p
x  x ' x  ( x ' x )1 / 2   i
x 2

i 1

ALGEBRA LINEAL 7
 Vectores

5. Distancia entre dos vectores

y
x y
d ( x, y)  x  y
x

6. Ángulo entre dos vectores

x, y
cos 
x y 

x, y  0  cos 0  x  y

ALGEBRA LINEAL 8
 Vectores

Desigualdad de Cauchy-Schwarz

x, y  x y

Consecuencia:

 x y  x, y  x y
x, y
1  1
x y
 1  cos  1

ALGEBRA LINEAL 9
 Vectores

7. Ortogonalidad

u1 , u 2 ,, u n  es ortogonal si u i  u j i, j

8. Ortonormalidad

e 1 , e 2 ,, e n  es ortonormal si es ortogonal

y todos los vectores tienen norma 1, es decir, ei  1 i

ALGEBRA LINEAL 10
Vectores

Ejemplo
  1  1 
   
u  0  v 0 
 2    3
   

(i )  u , v 
(ii ) u
(iii ) u  v ?
(iv ) d (u , v )
(v ) cos 

ALGEBRA LINEAL 11
Vectores

Un conjunto de vectores u1 , u 2 ,, u n 

es linealmente independiente si
n

c u
i 1
i i  0  c1  c 2    c n =0

(la única manera de construir una combinación lineal

igual a 0 es que todos los coeficientes sean 0)

ALGEBRA LINEAL 12
 Vectores

Proposición. Todo conjunto ortogonal de vectores

no nulos es linealmente independiente.

u1 , u 2 ,, u n  ortogonal  u1 , u 2 ,, u n  l.i.


Demostración
c1u1    cnun  0
u j , c1u1    cnun  c j u j , u j  0
u j ,u j  0  cj  0

ALGEBRA LINEAL 13
 Vectores

Proyección de x sobre y

x, y x, y
pry( x)  y 2
y
y, y y

ALGEBRA LINEAL 14
Vectores

Ejemplo
  1 2
   
x 0  y    1
3 1
   

pry ( x) ?
prx ( y ) ?

ALGEBRA LINEAL 15
 Ortogonalización de Gram-Schmidt

 V
p
; V subespacio vectorial de  p

si V es espacio vectorial,
es decir, si u, v V y a, b   ; au  bv  V
 Dado A= u1 , u 2 ,, u n 
 n 
span A   ci ui : ci  
 i 1 
Propiedades
(i ) A  span A
(ii ) span ( A) es un subespacio

ALGEBRA LINEAL 16
 Ortogonalización de Gram-Schmidt

Proposición v  ui i  1,, n 
 v  span u1,, un 

Demostración
u  span u1 , , un 
n n
u, v  v,  ci ui   ci v, ui  0
i 1 i 1

ALGEBRA LINEAL 17
 Ortogonalización de Gram-Schmidt

Dado un conjunto de vectores l.i., se puede

construir otro conjunto ortogonal que genere el
mismo espacio.
Sean x1 , x2 ,, xn  linealmente independientes
u1  x1
x2 , u1
u 2  x2  u1
u1 , u1
x3 , u1 x3 , u 2
u3  x3  u1  u2
u1 , u1 u2 , u2

xn , u1 xn , u n 1
u n  xn  u1    u n 1
u1 , u1 u n 1 , u n 1
ALGEBRA LINEAL 18
 Ortogonalización de Gram-Schmidt

Entonces:

(i) span x1 ,, xn  span u1 ,, un 

(ii ) u1 ,, un  es ortogonal

ALGEBRA LINEAL 19
 Matrices ortogonales

 a11 a12  a1n 

 
Amxn      
a am 2  amn 
 m1
Matrices ortogonales
 Anxn; inversa A-1: A A-1 = A-1A = I.
 A’ transpuesta de A.
 Qnxn es ortogonal si Q’Q = QQ’ = I.
(las columnas de una matriz ortogonal son vectores ortonormales)

ALGEBRA LINEAL 20
 Matrices ortogonales

Propiedades
x, y  p; Q matriz
ortogonal
(i ) Qx , Qy  x, y
(ii ) x  y  Qx  Qy
(iii ) Qx  x
y Qx
Qy
x

ALGEBRA LINEAL 21
Autovalores y autovectores

Anxn;  autovalor de A
  x  0 tal que Ax   x
x es autovector asociado a 

x  0, Ax   x  0 
x
x  0, Ax   Ix  0 
x  0, ( A   I ) x  0 
A I  0
Polinomio
característico
Ecuación
característica

ALGEBRA LINEAL 22
 Autovalores y autovectores

Ejemplo

Autovalores y autovectores de

 1  5
A   
5 1 

ALGEBRA LINEAL 23
 Autovalores y autovectores
Propiedades
(i )  1  2    n  trA
1  2 , x1 con autovalor 1 
(ii )   x1 y x2 son l.i.
x2 con autovalor 2 

Diagonalización de matrices
Anxn simétrica  A  A'  aij  a ji
 a11 a12  a1n 
 
 a12   
Anxn 
   
 
a   ann 
 1n
ALGEBRA LINEAL 24
 Autovalores y autovectores:
diagonalización
Si A simétrica entonces existen autovalores reales
 1,,  n con autovectores asociados e1 ,, en
ortonormales tales que

   1 0  e1 ' 
   
 e1 e2  en  2  e2 ' 
Anxn    
 
   
  0  n  
  en ' 
P D P’
A=PDP’, siendo D diagonal y P ortogonal
(Toda matriz simétrica es diagonalizable)
ALGEBRA LINEAL 25
 Autovalores y autovectores:
diagonalización

Ejemplo

Diagonalizar
 3  2
A   
 2 2 

ALGEBRA LINEAL 26
 Autovalores y autovectores:
representación espectral

 a11 a12  a1n 

 
 a12   
Sea Anxn  .
  
 
a   ann 
 1n

Si A es simétrica entonces existen autovalores reales

 1,,  n con autovectores ortonormales e1 , , en
tales que A   1e1e1'   2 e2 e2'     n en en' .

ALGEBRA LINEAL 27
Autovalores y autovectores:
representación espectral

Ejemplo

Descomposición espectral de

 9  2
A   
 2 6 

ALGEBRA LINEAL 28
 Formas cuadráticas

 x1 
 
Anxn simétrica; x ,
n
x  
f(x)=x’ A x es una forma cuadrática x 
 n
  a11 a12  a1n  x1 
  
 a21    x2 
f ( x)   x1 x2  xn    
   
  
a    x 
 n1 a nn  n 

 a11 x12    ann xn2  a12 x1 x2    aij xi x j    an 1n xn 1 xn 

n n n n n
  aij xi x j   a x  2 aij xi x j
2
ij i
i 1 j 1 i 1 i 1 j 1
i j
ALGEBRA LINEAL 29
 Formas cuadráticas

Ejemplo
Expresar matricialmente la forma cuadrática

f ( x1 , x2 , x3 )  5 x12  2 x22  3x32  6 x1 x2  4 x1 x3  5 x2 x3

Escribir en forma cuadrática

 1 2  x1 
f ( x1 , x2 )  x1 x2   
 2  2  x2 

ALGEBRA LINEAL 30
 Formas cuadráticas

Como Anxn es simétrica, es diagonalizable,

se puede escribir A = PDP’ y, por tanto,
queda: f(x) = x’PDP’x.
Haciendo y = P’x:

 1 0  y1  n
  
f ( y)  y' Dy   y1  yn      i i ,
   y 2

0   y  i 1
se tiene  n  n 
n
f ( y )    i yi2   1 y12    n yn2 .
i 1

ALGEBRA LINEAL 31
Formas cuadráticas

x’Ax=c2 representa geométricamente una elipse

en  2 ; los autovalores son  1  2 y los autovectores
normalizados son e1 y e2.
x' Ax  c 2
x' PDP ' x  c 2   1 y12   2 y22  c 2

y1 x1 y2
c
c
e1 e2 λ2
λ1
x2

ALGEBRA LINEAL 32
 Formas cuadráticas

Ejemplo
Representar, hallar los ejes y obtener la expresión
reducida de

 13  5  x1 
x1 x2     9
  5 13  x2 

ALGEBRA LINEAL 33
 Formas cuadráticas

Clasificación de formas cuadráticas

Sea f(x) = x’ A x
 f es definida positiva si x  0, f ( x)  0
 f es semidefinida positiva si x  n, f ( x)  0
 f es semidefinida negativa si x  n, f ( x)  0
 f es definida negativa si x  0, f ( x)  0
 f es indefinida si
x1  n
y x2  n
tal que f ( x1 )  0 y f ( x2 )  0

ALGEBRA LINEAL 34
 Formas cuadráticas

Sean  1,,  n los autovalores de A

 f es definida positiva   1 0,,  n  0
 f es semidefinida positiva   1 0,,  n  0
 f es semidefinida negativa   1 0,,  n  0
 f es definida negativa   1 0,,  n  0
 f es indefinida   i  0,  j  0

ALGEBRA LINEAL 35
 Raíz cuadrada de una matriz
Raíz cuadrada de una matriz:

A semidefinida positiva;
B es raíz de A si A=BB; B=A1/2 ; A=A1/2 A1/2

Si A es simétrica y A=PDP’ con n

descomposición espectral A    i ei e'

i 1
entonces:

ALGEBRA LINEAL 36
 Formas cuadráticas
Raíz cuadrada de una matriz:

 1 0
 
Sea A  P    P'
0  
 n

 1 0 
 
 A1/ 2  P    P' 
 
n
Nota:

1 /  1

0 
 n
 0
1
 P'   ei ei '
1
A  P  n
 0
 1 /   i 1  i
n    i ei ei '
i 1
ALGEBRA LINEAL 37
 Descomposición singular de una matriz
Dada la matriz Amxn, AA’ es cuadrada y
simétrica; por tanto, diagonalizable.
i es un valor singular de A, si  i es autovalor de AA’.
2

Descomposición singular
Sea A una matriz mxn;  1,,  k valores singulares de A.
Entonces existen matrices ortogonales U y V tales que:
 1 0 
 
  0
A U   V
0 k
 
 
 0 0 
ALGEBRA LINEAL 38
 Vectores y matrices aleatorias

X i variable aleatoria
 i E( X i )
 ii   i2  V ( X i )  E[ X i  E ( X i )]2

 X1   X 11 X 12  X 1n 
   
X    ;      
X  X  
 p  m1 X m2 X mn 

Vector Matriz
aleatorio aleatoria

31
 Vectores y matrices aleatorias
Se llama vector de medias a:
  1   E( X1) 
   
EX          
    E( X ) 
 p  p 
y covarianza entre dos variables a
 ij  Cov( X i , X j )  E[( X i  EX i )( X j  EX j )].
Se define la matriz de covarianzas de X como:
  11  1p 
 
VX     X      
 
  pp 
 p1
40
 Vectores y matrices aleatorias

 X1   c1 
   
X    , c     constantes ; EX   , VX  . Entonces :
X  c 
 p  p

(i ) E (c' X )  c' 
(ii ) V (c' X )  c' c
Cmxp matriz de constantes . Entonces :
(i ) E (CX )  CEX .
(ii ) V (CX )  CC '.
 Vectores y matrices aleatorias

Ejemplo

Y1  2 X 2  X 1
 X1  
X     Y2  X 1  X 2
 X2  Y  X  2 X
 3 2 1

  1  6  2
       
0  2 4 

ALGEBRA LINEAL 42
 Vectores y matrices aleatorias

Propiedades
Sea Xmxn y sean Akxm y Bnxr matrices de constantes.
Entonces:
 E ( X 11 )  E ( X 1n ) 
 
(i ) E ( AX )  AE ( X )  A    
 E( X )  E( X ) 
 m1 mn 
(ii ) E ( AXB)  AE ( X ) B
(iii ) Ymxn  E ( X  Y )  E ( X )  E (Y )

43
 Vectores y matrices aleatorias
Matriz de correlaciones
 1 r12  r1 p 
 
 r21 1  r2 p   ij
  , donde rij  ;
     ii  jj
 
r rp 2  1 
 p1
en forma matricial:   V
1/ 2
V 1/ 2 ,
donde V es la matriz de varianzas:

  11 0    12 0 
   
V     
 0
  pp   0  p2 

44
 Vectores y matrices aleatorias
Partición de un vector aleatorio  X1 
 
  
 X1   X   (1) 
 
Sea X     ; X 
r
X 
X   X r 1   X ( 2 ) 
 p   
 
 X 
 p 
  (1) 
 Vector de medias:    ( 2 ) 
 
 11 12 
 Matriz de covarianzas:     , donde
  21  22 
11  V ( X )
(1)

 22  V ( X ( 2) )
12   '21  Cov( X (1) , X ( 2 ) )  Cov( X i , X j )
(1) ( 2)

45
 Matriz de datos

Objeto_1  x11 x12 x13  x1 p 

 
 x21 x22 x23  x2 p 
x
 31
x32 x33  x3 p   X nxp

en  p

      
Objeto_n x xn 2 xn 3  xnp 
 n1

n n

 xi1
Variable_1  xip
Variable_p
x1  i 1
 xp  i 1
n n

46
 Matriz de datos
 x1 
 
 Vector de medias: x    
x 
 p  s11  s1 p 
 
 Matriz de varianzas y covarianzas: S n      
s  s pp 
n
donde sij   ( xki  xi )( xkj  x j ) / n
k 1
 p1
 Matriz de correlaciones: R  Vn 1/ 2 Sn Vn 1/ 2 , donde

 s11 0 
 
Vn    
 0 s pp 


47
EJEMPLOS 48
EJEMPLOS 49
EJEMPLOS 50
EJEMPLOS 51
EJEMPLOS 52
EJEMPLOS 53
EJEMPLOS 54
 Matriz de datos

Proposición
 X1 
 
Dado X     ; X 1 , X 2 ,, X n i.i.d . ;
X 
 p n

X i
X  i 1
n
(i ) E( X )  
(ii ) V ( X )   / n
n 1
(iii ) E ( S n )  
n
55
 Matriz de datos

La matriz de datos se puede representar como:

 Diagrama de dispersión, n puntos en el espacio  p

p=2 p=3 x3
x2

x2
x1
x1

Como para p>3 no es posible representarlo, se utilizan

diagramas de dispersión múltiple con pares de
variables.

56
 Matriz de datos

 Considerando las columnas en vez de la filas de la

n
matriz de datos, es decir, p puntos en
Objeto_1  x11 x12 x13  x1 p 
 
 x21 x22 x23  x2 p 
x
 31
x32 x33  x3 p   X nxp

en p
      
Objeto_n x xn 2 xn 3  xnp 
 n1
Y1 Y2 Y3 Yp
Para cuatro variables:
Y1 Y
Variable_1 Variable_p
 x11 x12 x13 x14  4
Y
  3
X   x21 x22 x23 x24 
x x34 
Y
 31 x32 x33  2

Y1 Y2 Y3 Y4
57
 Matriz de datos

1
 
Vector de unos: 1 nx1    
n unos
1
Propiedades  

 1 n y forma el mismo ángulo con todos

los ejes.

 1/ n es el vector unitario que forma el mismo

ángulo en todas las direcciones.

58
 Matriz de datos

 Proyección de un vector sobre el vector 1:

n

yi ,1
x
j 1
ij  xi 
 
pr1 ( yi )  1 1  xi 1    
1,1 n x 
 i
yi

1
xi 1

59
 Matriz de datos

Vector de desviaciones a la media:

 x1i  xi   x1i  1

     
d i          xi   
x  x  x  1
 ni i   ni   

60
 Matriz de datos

Entonces:

 d i  ( x1i  xi )  ...  ( xni  xi )  d i  nsii

2 2 2

n
 d i , d j   ( xki  xi )( xkj  x j )  nsij
k 1

di , d j nsij sij
 cos( d i , d j )     rij
di d j nsii ns jj sii s jj

61
 Matriz de datos

Varianza generalizada y varianza total:

 X1   1    11   1 p 
     
X     ;   E( X )     ;       
X       
 p  p  p1 pp 

62
 Matriz de datos

 Varianza generalizada de X:   det()

 Varianza total de X: traza ()   11     pp

 Varianza generalizada muestral: Sn  det( Sn )

 Varianza total muestral: traza( S n )  s11    s pp

63
 Matriz de datos

Interpretación geométrica

 Área =

 d1 d 2 sen  ns11 ns22 1  cos 2   n s11s22 (1  r122 )  n | Sn |

p
 Varianza generalizada en
Volumen 2
Sn 
np
64
EJEMPLOS 65
EJEMPLOS 66
EJEMPLOS 67
 Matriz de datos

Combinaciones lineales de las componentes de

una variable
 X1   x1   s11  s1 p   c1   b1 
         
X    ; x    ; S n      ; c    ; b    
X  x  s  s  c  b 
 p  p  p1 pp   p  p
c' X  c1 X 1    c p X p
y las combinaciones lineales:
b' X  b1 X 1    bp X p
 Media muestral de c’X: c' x
 Varianza muestral de c’X: c ' S n c
 Covarianza muestral de c’X y b’X: c' S nb
68
 Matriz de datos

Ejemplo
2 0 1
   X1 
3 1 0  
X  X   X2 
2 1 0 X 
   3
4 0 
 1

c' X  2 X 1  3 X 2
b' X  X 1  2 X 3

ALGEBRA LINEAL 69
EJEMPLOS 70
EJEMPLOS 71
EJEMPLOS 72
EJEMPLOS 73
EJEMPLOS 74
EJEMPLOS 75
EJEMPLOS 76