Principal Components Analysis

Reconocimiento de Patrones

M.I. Joseph Isaac Ramírez Hernández

 Resumen
Reconocimiento de Patrones

• Análisis de componentes principales (PCA, por sus siglas en inglés) es una

técnica de compresión y clasi icación de datos.
• Su objetivo es reducir la dimensionalidad de los datos, generando un
conjunto de nuevas variables.
• Este nuevo conjunto de variables retiene la mayoría de la información del
conjunto de características originales.
• Se hace uso de la matriz de covarianza y los valores y vectores propios
asociados a ella.
f

 Introducción intuitiva
Reconocimiento de Patrones

• El problema de la reducción de dimensionalidad se puede pensar de

manera intuitiva como un mapeo

D k
M : ℝ ⟶ ℝ  tal que k ≪ D
 Caso base
Reconocimiento de Patrones
⟨x, w⟩
• Considere el caso más sencillo de todos, x− w
⟨w, w⟩
cuando k = 1.
• De todo el conjunto de características se w
está buscando la más signi icativa y x
relevante.
D
• Considerando que w ∈ ℝ y además es ⟨x, w⟩
un vector unitario. w
⟨w, w⟩

f
 De inición del problema de optimización
Reconocimiento de Patrones

• Considere el problema de encontrar la dirección p que permita la mejor

reconstrucción posible del conjunto de entrenamiento, esto sin perder
información, i.e.
n
1 ⟨xi, w⟩ 2
D−1 n ∑
min | | xi − w||
• w∈S ⟨w, w⟩
i=1
D−1 D
• Donde S = {w ∈ ℝ ∋ | w | | = 1} es una esfera en D dimensiones.
• La solución para p del problema de optimización es conocido como la
primer componente principal de los datos.
f

 De inición del problema de optimización

Reconocimiento de Patrones

• La expresión anterior puede ser reescrita como

n
1 2 2
D−1 n ∑
min | | xi | | − ⟨xi, w⟩
• w∈S
i=1
• Y además puede ser reescrita utilizando un problema inverso como
n
1 2
D−1 n ∑
max ⟨xi, w⟩
• w∈S
i=1
f

 PCA y Varianza Máxima

Reconocimiento de Patrones

1
• Si los datos se encuentran centrados, esto es, que x = xi el problema
n
de optimización se puede traducir en encontrar la dirección a la que los
datos tiene la mayor varianza.
2
• El término ⟨xi, w⟩ se puede de inir como la varianza de x en la dirección
w y el problema puede cambiar por
n
1 2
w∈S D−1 n ∑
max ⟨xi − x, w⟩
•
i=1

 PCA y el Problema de Eigenvalores

Reconocimiento de Patrones

• En el último problema de optimización, se puede aprovechar la simetría

del producto interno para reescribirlo de la siguiente manera

n n n
1 2 1 1 T
n∑ ∑ ∑
⟨xi, w⟩ = ⟨xi, w⟩⟨xi, w⟩ = ⟨w, xi⟩⟨xi , w⟩
i=1
n i=1
n i=1
n
1 T T
n∑
= ⟨w, ⟨xi, xi ⟩w ⟩
i=1
 PCA y el Problema de Eigenvalores
Reconocimiento de Patrones

• De manera que el problema de optimización puede ser calculado como

n
T
1 T
n∑
max ⟨w , Cnw⟩ Cn = ⟨xi, xi ⟩
D−1
w∈S
i=1
 PCA y el Problema de Eigenvalores
Reconocimiento de Patrones

• La matriz Cn es simétrica y de inida semi-positiva. En general si los datos

están centrados entonces Cn es la matriz de covarianza.

Cn = Cov(xi, xj)
f
 Descomposición en singulares
Reconocimiento de Patrones

• Considere una matriz de datos Xn, su descomposición en valores

singulares es
T
• Xn = UΣP
• Donde U es una matriz diagonal de n por d, P es una matriz diagonal de
D por d y Σ es una matriz diagonal tal que Σi,i = λi , i = 1,2,...,d y
d ≤ min{n, D}.

 Descomposición en singulares
Reconocimiento de Patrones

• La descomposición de valores singulares puede ser descrito por las

siguientes ecuaciones para j = 1,2,...,d

1 1
Cn pj = λj pj Xn pj = λj uj Knuj = λjuj Knuj = λj pj
n n

1 T 1 1 T
Donde Cn = Xn Xn Kn = XnXn
n n n
Descomposición en singulares
Reconocimiento de Patrones
 Pero, ¿entonces cómo los calculo?
Reconocimiento de Patrones

Los pasos en comparación con la teoría se reducen a unos cuantos:

1. Calcular la matriz de covarianza de las características o features.
2. Calcular los valores propios de la matriz de covarianza.

3. Crear una matriz de transformación W que contenga los eigenvectores

de los valores propios más grandes.
4. Transformar el conjunto de características al nuevo espacio utilizando la
matriz W.