Análisis de componentes principales

Juan José Choquehuanca Zevallos

UCSP

July 7, 2020

Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 1/9
 1 Deniciones

2 Representación vectorial de señales

3 Vectores de mínima y máxima varianza

4 Formulación de máxima varianza

5 Función de coste
Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 2/9
 Preliminares
1 Representación vetorial de los datos:
(n)
1 Fig. 1a: x ∈ R1×1 , Fig. 1b: x(n) ∈ R2×1 , Fig. 1c: x(n) ∈ R3×1

Figure: Representación vectorial de los datos en un espacio de alta

dimensionalidad.

Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 2/9
 Preliminares

En general: x(n) ∈ RD×1 . Por ejemplo:

Imágenes de 100 × 100 píxeles x(n) ∈ R10 ×1 .
4
1

2 Espectrograma utilizando 1024 valores en frecuencia: x(n) ∈ R1024×1 ,

etc.

Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 3/9
 Ejemplo de distrución de puntos

Figure: Representación vectorial de los datos bidimensionales.

Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 4/9
 .

Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 5/9
 Ejemplo de distrución de puntos

Figure: Representación vectorial de los datos bidimensionales.

Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 5/9
 .

Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 6/9
 Ejemplo de distribución de puntos

Juan José Choquehuanca

Figure:Zevallos (UCSP) Análisisvectorial
Representación de componentes principales
de los July 7, 2020
datos bidimensionales. 6/9
 .

Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 7/9
 Formulación de máxima varianza
Denición de media:
n o
µx = E x(n) ∈ RD×1 (1)

N
1 X (n)
µx = x (2)
N
n=1

Denición de covarianza:
N
1 X  T (n) 2
σa21 = a1 x − aT1 µ(n)
x ∈ R1×1 (3)
N
n=1
N
1 X  T (n)  2
σa21 = a1 x − aT1 µ(n)
x a T (n)
1 x − aT (n)
µ
1 x ∈ R1×1 (4)
N
n=1

Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 7/9
 Formulación de máxima varianza

Considerando bT a = aT b

N  h iT 
1 X  T (n) iT h
σa21 = T (n)
a 1 x − a 1 µx x (n) (n)
a1 − µx a1 ∈ R1×1
N
n=1
(5)
N 
" #
1  T
(6)
X
σa21 = aT1 (n) (n)
x − µx (n) (n)
x − µx a1 ∈ R1×1
N
n=1
N
1 X  (n)  T
S= x − µ(n)
x x(n) − µ(n)
x ∈ RD×D (7)
N
n=1

σa21 = aT1 Sa1 ∈ R1×1 (8)

Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 8/9
 Formulación de máxima varianza
Formulación del problema:
(
min aT1 Sa1
(9)
s.t. ka1 k = 1

Empleando operadores de Lagrange

min aT1 Sa1 + λ1 (1 − ka1 k) (10)

∂  T
(11)

a1 Sa1 + λ1 (1 − ka1 k) = 0
∂a1
∂  T
a1 Sa1 + λ1 1 − aT1 a1 = 0 (12)


∂a1
[Sa1 − λ1 a1 ] = 0 (13)
Sa1 = λ1 a1 (14)
Entonces, a1 y λ1 resentan un autovector y autovalor de S .
Juan José Choquehuanca Zevallos (UCSP) Análisis de componentes principales July 7, 2020 9/9