Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Descomposicion en Valores Singulares Apunte de Mancilla
Descomposicion en Valores Singulares Apunte de Mancilla
on en valores singulares
Notas para los cursos 21 y 22 (J.L. Mancilla Aguilar)
1.
Valores Singulares
Tanto los valores singulares como la descomposicion en valores singulares de una matriz son
conceptos de gran utilidad en las aplicaciones del algebra lineal a diversos problemas practicos
y teoricos.
A continuacion definiremos el concepto de valor singular de una matriz.
Dada una matriz A Rmn , la matriz AT A es simetica, pues (AT A)T = AT (AT )T = AT A,
y semidefinida positiva, ya que
xT AT Ax = (Ax)T (Ax) = kAxk2 0 x Rn .
Por lo tanto los autovalores de AT A son reales y no negativos.
Definici
on 1 Sea A Rmn . Sean 1 , 2 , . . . , n los autovalores de AT A ordenados en forma
decreciente, es decir,
1 2 n 0.
kxk=1
mn kAxk = n .
kxk=1
Demostraci
on. Sean 1 y n el maximo y el mnimo autovalor de AT A, respectivamente.
Entonces, por Rayleigh,
max xT (AT A)x = 1
kxk=1
Luego
1 =
mn xT (AT A)x = n .
kxk=1
r
p
p
1 = max xT (AT A)x = max kAxk2 = max kAxk,
kxk=1
kxk=1
kxk=1
tercera por la igualdad xT (AT A)x = kAxk2 y por ser la funcion (t) = t mon
otona creciente
en [0, ) (si es una funcion escalar monotona creciente sobre la imagen de f (x) entonces
(max f (x)) = max (f (x)) y (mn f (x)) = mn (f (x)) ).
En forma similar se prueba que mnkxk=1 kAxk = n .
kAxk
1
kxk
El siguiente resultado sera clave para la construccion de la descomposicion en valores singulares de una matriz. Recordemos que toda matriz simetrica n n con coeficientes reales es
diagonalizable ortogonalmente, o, lo que es equivalente, existe una b.o.n. de Rn compuesta por
autovectores de ella.
Teorema 1 Sea A Rmn . Supongamos que 1 , 2 , . . . , n son los autovalores de AT A y que
1 2 r > r+1 = = n = 0,
en otras palabras, los autovalores de AT A est
an ordenados en forma decreciente y el n
umero de
autovalores no nulos es r.
Sea {v1 , . . . , vn } una b.o.n. de Rn tal que AT Avi = i vi .
Entonces
la u
ltima igualdad debida al punto 1., ya que kAvi k = i = 0 si i r + 1.
El punto 4. es inmediato del 2. ya que el rango de A es la dimension del espacio columna de
la matriz y esta es r, que por otra parte es el n
umero de autovalores no nulos de AT A, el cual
coincide con el n
umero de v.s. no nulos de A.
Finalmente el punto 3. resulta del hecho que {vr+1 , . . . , vn } es un conjunto ortonormal, que
kAvi k = 0 para todo i r + 1 y que dim(Nul(A)) = n r.
2
A=
Como
4 11 14
8 7 2
80 100 40
AT A = 100 170 140 ,
40 140 200
1 = 360 = 6 10,
2 = 90 = 3 10
3 = 0.
Notamos que el rango de A es 2 y que hay exactamente 2 v.s. no nulos como informa el Teorema
1.
Busquemos ahora una b.o.n. de R3 compuesta por autovectores de AT A. Como
2
1
2
S1 = gen 2 ,
S2 = gen 1
y S3 = gen 2 ,
2
2
1
B = {v1 , v2 , v3 }, con
1
1
v1 = 2 ,
3
2
18
Av1 =
,
6
2
1
v2 = 1
3
2
Av2 =
3
9
2
1
y v3 = 2 ,
3
1
Av3 =
0
0
2.
Descomposici
on en valores singulares
1 0
0 2
D
0r(nr)
=
y D= .
.. . .
0(mr)r 0(mr)(nr)
..
.
.
0 0
0
0
..
.
r
con 1 2 r > 0.
1 0 0
0 2 0
p
D
0r(nr)
=
con D = .
donde i = i .
.
.
.
..
. . ..
0(mr)r 0(mr)(nr)
..
0 0 r
Con el objeto de definir U , consideremos los vectores
u1 =
Av1
Av1
Avr
, u2 =
, , ur =
.
1
2
r
1 0
0 2
..
.. . .
.
.
.
0
0
U = [u1 u2 um ]
0 0
..
.. . .
.
.
.
0
0
0
..
.
0
0
..
.
r
0
..
.
0
0
.. . .
.
.
0
0
.. . .
.
.
0
0
..
.
= [1 u1 . . . r ur 0 0].
Observaci
on 1 La demostracion del Teorema 2 nos da un metodo para construir una DVS de
una matriz A. Metodo que podemos resumir de la siguiente manera.
Sea A Rmn .
1. Calcular los autovalores de AT A y ordenarlos de mayor a menor: 1 2 n .
2. Hallar una b.o.n. {v1 , . . . , vn } de Rn tal que AT Avi = i vi , i = 1, . . . , n.
D
0r(nr)
=
con D =
0(mr)r 0(mr)(nr)
1 0
0 2
..
.. . .
.
.
.
0 0
0
0
..
.
1 = 360 = 6 10,
2 = 90 = 3 10
3 = 0.
B = {v1 , v2 , v3 } con
1
1
v1 = 2 ,
3
2
2
1
v2 = 1
3
2
2
1
y v3 = 2 ,
3
1
1
Av2
Av1
10
10
= 1
y
u2 =
=
.
u1 =
310
1
2
10
Como {u1 , u2 } es b.o.n. de R2 , no hace falta completar el conjunto. Ahora definimos
1 2
2
1
1
3
1
6 10 0
0
2 1 2 , U =
y =
,
V =
0
3 10 0
3
10 1 3
2
2
1
y tenemos que A = U V T es una DVS de A.
5
0
D
0r(nr)
=
y D= .
0(mr)r 0(mr)(nr)
..
0
DVS de A.
0
2
.. . .
.
.
0
0
0
..
.
con 1 2 r > 0.
Entonces
1. 1 , . . . , r son los v.s. no nulos de A;
2. Si V = [v1 vn ], {v1 , . . . , vn } es una b.o.n. de Rn tal que AT Avi = i2 vi si i = 1, . . . , r y
AT Avi = 0 si i = r + 1, . . . , n;
3. Si U = [u1 um ], Avi = i ui para i = 1, . . . , r y Avi = 0 para i = r + 1, . . . , n.
Demostraci
on. Como A = U V T tenemos que
AT A = (U V T )T (U V T ) = V (T )V T .
Pero T es la matriz n n
T =
12 0
0 22
..
..
.
.
0 0
0 0
..
..
.
.
..
.
0
0
..
.
..
.
0
0
..
.
r2
0
..
.
0
0
.. . .
.
.
0
0
.. . .
.
.
0
0
..
.
Proposici
on 2 Sea A = U V T una DVS de A Rmn . Entonces
AT = V T U T
es DVS de AT . En particular A y AT tienen los mismos v.s. no nulos.
Demostraci
on. Es inmediato a partir de la definicion de DVS que AT = V T U T es DVS de
AT . Que A y AT tienen los mismos v.s. no nulos se deduce del hecho que en aparecen los v.s.
no nulos de A y en T los v.s. no nulos de AT .
De la Proposicion 2 y del Teorema 3 deducimos que los vectores singulares izquierdos de una
matriz A son a la vez vectores singulares derechos de AT y por lo tanto autovectores de AAT .
Ejemplo 3 Hallar una DVS de
A=
1 2
2
1
2 2
Como los v.s. no nulos de A y de AT coinciden, calculamos los v.s. de AT , que son los autovalores
de AAT . Como
9 9
T
AA =
,
9
9
1
AT u1
1
2 .
v1 =
=
1
3
2
Para hallar los restantes vectores singulares izquierdos de AT debemos encontrar v2 , v3 tales
que {v1 , v2 , v3 } sea b.o.n. de R3 . Pero como v2 y v3 son a su vez vectores singulares derechos de
A y corresponden a valores singulares nulos de A, necesariamente Av2 = 0 y Av3 = 0. Luego
bastara con que hallemos una b.o.n. de Nul(A). Una posible b.o.n. es {v2 , v3 } con
0
4
1
1
v2 = 1 y v3 = 1 .
2 1
3 2 1
Note que {v1 , v2 , v3 } es b.o.n. de R3 . (Otra forma de computar v2 , v3 consiste en elegir v2 y v3
tales que {v1 , v2 , v3 } sea l.i. y ortonormalizar el conjunto mediante Gram-Schmidt.)
7
Entonces
AT = V U T
con V = [v1 v2 v3 ], U = [u1 u2 ] y
2 3 0
= 0
0 ,
0
0
3.
En esta seccion veremos que las matrices U y V de una DVS de A estan compuestas por
bases ortonormales de los cuatro subespacios fundamentales de A.
Supongamos que A Rnm es una matriz de rango r y que A = U V T es una DVS
de A. Entonces, si V = [v1 vn ] y U = [u1 um ] y definimos las matrices Vr = [v1 vr ],
Vnr = [vr+1 vn ], Ur = [u1 ur ] y Umr = [ur+1 um ], se tiene que
1. {v1 , , vr } es b.o.n. de fil(A), VrT Vr = I y Vr VrT = Pfil(A) .
T V
T
2. {vr+1 , , vn } es b.o.n. de Nul(A), Vnr
nr = I y Vnr Vnr = PNul(A) .
0
1
A = 1 1 0 0
18 0
1
0
0 1
2 0
0
0 0
1
2
0 ,
1
2
hallar los valores singulares de A, bases de sus cuatro subespacios fundamentales y calcular sus
matrices de proyeccion.
La descomposicion que tenemos de A es casi una DVS, salvo por el hecho de que la matriz
U que aparece a la izquierda, si bien tiene columnas mutuamente ortogonales, estas no son de
8
norma 1. Procedemos entonces a normalizar las columnas de U dividiendo cada una de ellas
por su norma. Para que el producto siga siendo A, es necesario multiplicar la fila i de la matriz
central, por el n
umero por el cual dividimos la columna i de U . Queda entonces la factorizacion
1
1
0
0 12
2 0 0
2
2
2
0 1
0 .
A = 12 12 0 0 6 0
12 0 12
0 0 0
0
0 1
Esta factorizacion no es a
un una DVS, porque los elementos de la diagonal de la matriz
central no estan ordenados de mayor a menor. Para ello lo que hacemos es permutar las dos
primeras columnas de la matriz de la izquierda y las dos primeras filas de la matriz de la derecha.
Entonces obtenemos
1
1
0
1
0
0
6
0
0
2
2
1
1
A = 12 12 0 0 2 0 2 0 2 ,
0 0 0
12 0 12
0
0 1
que ahora s es una DVS de A, ya que A = U V T con
1
1
0
0
6
0
0
12 12
0 , = 0 2 0
U = 2
y V = 1
2
0
0
0
0
0
0 1
12
0
0 .
1
2
1
2
1
2
# 1 0 1
0 12 "
2
2
0
1
0
0 1
= 0 1 0 ,
Pfil(A) = 1
1
0
1
1
2
2
0 12
2 0 2
0 21
0 ,
PNul(A) = I Pfil(A) = 0 0
1
1
2 0
2
0
0 0 0
PNul(AT ) = 0 0 0 1 = 0 0 0 ,
1
0 0 1
1 0 0
Pcol(A) = I PNul(AT ) = 0 1 0 .
0 0 0
1
2
4.
DVS reducida
Veremos ahora como a partir de una DVS, A = U V T , podemos obtener una descomposicion
de A que emplea matrices de tama
no reducido. Empleando la notacion de la seccion anterior,
escribimos U = [Ur Umr ] y V = [Vr Vnr ], donde r es el rango de A.
Entonces
D
0r(nr)
VrT
A = U V T = [Ur Umr ]
= Ur DVrT .
T
0(mr)r 0(mr)(nr)
Vnr
A la factorizacion A = Ur DVrT se la denomina DVS reducida de A. Notar que la matriz D
es inversible, pues D es diagonal, y los elementos que aparecen en la diagonal principal son los
v.s. no nulos de A.
Ejemplo 5 Para la matriz A del Ejemplo 4,
1
1
"
12 12 6 0
A= 2
2
0 2
0
0
0 1
1
0
2
0
1
2
#
,
5.
Soluci
on por cuadrados mnimos de norma mnima. Seudoinversa de Moore-Penrose
soluci
on por c.m. y, adem
as, kx k k
xk para todo x
que sea soluci
on por c.m. de Ax = b.
En otras palabras, x es, de todas las soluciones por c.m. de Ax = b, una que tiene la menor
norma (longitud) posible.
A continuacion veremos que existe una u
nica solucion por c.m. de norma mnima y daremos una
caracterizacion de ella que sera u
til para calcularla.
Proposici
on 3 Consideremos la ecuaci
on Ax = b con A Rmn y b Rn . Entonces
nica soluci
on x por c.m. de la ecuaci
on Ax = b que pertenece a fil(A).
1. Existe una u
nica soluci
on por c.m. de norma mnima de la ecuaci
on Ax = b.
2. x es la u
10
Demostraci
on. Primero probamos que existe una solucion por c.m. que pertenece a fil(A). Sea
x
p una solucion por c.m. de la ecuacion Ax = b. Sea x = Pfil(A) x
p . Veamos que x tambien es
de la ecuacion. Entonces x
x Nul(A). Luego
k
xk2 = kx + (
x x )k2 = kx k2 + k
x x k2
pues fil(A) = Nul(A) . Entonces k
xk2 kx k2 y x es de norma mnima.
Finalizamos la demostracion viendo que x es la u
nica solucion de norma mnima. Supongamos que y tambien es solucion de norma mnima. Entonces necesariamente kyk = kx k. Por
otro lado, dado que y x Nul(A) y que x fil(A),
kyk2 = kx + (y x )k2 = kx k2 + ky x k2 .
Entonces, necesariamente ky x k = 0, y, por lo tanto, y = x .
De acuerdo con la Proposicion 3, para hallar la solucion por c.m. de norma mnima, debemos
buscar entre las soluciones por c.m. de la ecuacion la solucion x que pertenece a fil(A). Para
hallar tal solucion podemos proceder como sigue.
Supongamos que A = Ur D VrT es una DVS reducida de A. Entonces, por lo expuesto en la
Seccion 3, Ur UrT = Pcol(A) , UrT Ur = I, las columnas de Vr son b.o.n. de fil(A) y D es inversible.
Luego, como x pertenece a fil(A), existe Rr tal que x = Vr . Como ademas x es
solucion por c.m. de Ax = b entonces
Pcol(A) b = Ax = AVr .
Luego, usando que Ur UrT = Pcol(A) , VrT Vr = I y A = Ur D VrT , tenemos que
Ur UrT b = Ur D VrT Vr = Ur D.
Multiplicando por izquierda por Ur y usando que UrT Ur = I, obtenemos
D = UrT b
= D1 UrT b,
y, por lo tanto,
x = Vr = Vr D1 UrT b.
Notemos que hemos probado que la solucion por c.m. de norma mnima de la ecuacion Ax = b
se obtiene multiplicando b por la matriz Vr D1 UrT .
11
Definici
on 5 Sea A = Ur D VrT es una DVS reducida de A. La matriz A+ = Vr D1 UrT es la
matriz seudoinversa de Moore-Penrose de A.
Notamos que del hecho que para todo b Rn , x = A+ b es la u
nica solucion por c.m. de longitud
mnima de la ecuacion Ax = b, se deduce que A+ no depende de la DVS reducida empleada
para calcularla. En efecto, si A = Ur0 DVr0 T es otra DVS reducida de A, tenemos la igualdad
T
D1
0r(mr)
+
=
Rnm .
0(nr)r 0(nr)(mr)
Entonces A+ = V + U T , como puede comprobar facilmente el lector, usando las expresiones
T ] y U = [U U T
V = [Vr Vnr
r mr ] y efectuando el producto.
Ejemplo 6 Hallar la seudoinversa de Moore-Penrose de
2 4
A=
.
6 12
Notemos que el rango de A es 1, y por lo tanto A carece de inversa. Vamos a buscar entonces
una DVS reducida de A.
12
Como
A A=
40 80
80 160
.
=
u1 =
1
10 3
Entonces
"
A=
A =
6.
1
5
2
5
1
10
3
10
10 2
1
2
[10 2]
5
5
1
3
1
1 3
.
=
100 2 6
10
10
En esta seccion veremos como una DVS de una matriz A Rmn nos permite determinar
facilmente cual es la imagen de la esfera unitaria S n1 = {x Rn : kxk = 1} a traves de la
transformacion lineal T (x) = Ax.
Supongamos que A = U V T es una DVS de A y que rango(A) = r. Con el objeto de
determinar que clase de conjunto es
T (S n1 ) = {z Rm : z = Ax con x S n1 },
consideremos el cambio de variable x = V y. Notamos que kxk = kyk por ser V ortogonal.
Entonces
z T (S n1 ) z = Ax con kxk = 1 z = AV y con kyk = 1 z = U y con kyk = 1.
Llamando U = [u1 um ] y teniendo en cuenta que A tiene r v.s. no nulos 1 , . . . , r , tenemos
que U y = 1 y1 u1 + 2 y2 u2 + + r yr ur .
Entonces
z T (S n1 ) z = 1 y1 u1 + 2 y2 u2 + + r yr ur
con kyk = 1.
w1 = 1 y1
w2 = 2 y2
..
..
..
.
.
.
wr = r yr
con kyk = 1.
z T (S n1 )
0
wr+1 =
.
.
..
.
.
.
.
.
wm =
0
13
Como yi = wi /i para i = 1, . . . , r y
conclusion:
Pn
2
i=1 yi
1. Si r = n
z T (S n1 )
w12
w2
+ + 2n = 1
2
n
1
wn+1 = wn+2 = = wm = 0.
w12
wr2 X 2
=
yi 1,
+
+
r2
12
i=1
y, por lo tanto,
z T (S n1 )
w12
wr2
1
+
+
r2
12
wr+1 = wr+2 = = wm = 0.
w2
T (S 1 ) = z R2 : z = w1 u1 + w2 u2 , 21 1, w2 = 0 = z R2 : z = tu1 , 1 t 1 ,
1
es el segmento de extremos P1 = 1 u1 , P2 = u1 .
3. Si rango(A) = 2, 1 2 > 0, y
w2 w2
T (S 1 ) = z R2 : z = w1 u1 + w2 u2 , 21 + 22 = 1 ,
1
2
resulta una elipse con centro en el origen, eje mayor de longitud 21 contenido en la recta
generada por u1 y eje menor de longitud 22 contenido en la recta u2 (Figura 1).
Ejemplo 8 Supongamos ahora que A R33 y que A = U V T es DVS de A. Sea U = [u1 u2 u3 ]
y 1 , 2 , 3 los v.s. de A. Entonces tenemos las siguientes posibilidades para la imagen de la esfera
unitaria S 2 R3 a traves de la transformacion T (x) = Ax:
14
1.5
T(S1)
u
2
0.5
0
x1
0.5
1
1 u1
1.5
2
1.5
0.5
0.5
1.5
w12
2
3
T (S ) =
z R : z = w1 u1 + w2 u2 + w3 u3 , 2 1, w2 = w3 = 0
1
3
= z R : z = tu1 , 1 t 1 ,
que es el segmento de extremos P1 = 1 u1 , P2 = u1 .
3. Si rango(A) = 2, 1 2 > 0, 3 = 0 y
w12 w22
2
3
T (S ) = z R : z = w1 u1 + w2 u2 + w3 u3 , 2 + 2 1; w3 = 0 ,
1
2
es la superficie contenida en el plano generado por u1 y u2 (que es col(A)), que contiene
al origen y esta limitada por la elipse centrada en el origen, cuyo eje mayor tiene longitud
21 y esta contenido en la recta generada por u1 y su eje menor, contenido en la recta u2 ,
tiene longitud 22 (Figura 2.)
4. Finalmente, si rango(A) = 3, 1 2 3 > 0 y
15
col(A)
1 u1
2
u3
T(S2)
0
2 u2
2
4
5
4
2
0
2
5
T(S2)
2 2
1u1
3u3
16