Documentos de Académico
Documentos de Profesional
Documentos de Cultura
on en valores singulares
Notas para los cursos 21 y 22 (J.L. Mancilla Aguilar)
1. Valores Singulares
Tanto los valores singulares como la descomposicion en valores singulares de una matriz son
conceptos de gran utilidad en las aplicaciones del algebra lineal a diversos problemas practicos
y teoricos.
A continuacion definiremos el concepto de valor singular de una matriz.
Dada una matriz A Rmn , la matriz AT A es simetica, pues (AT A)T = AT (AT )T = AT A,
y semidefinida positiva, ya que
El primer y el u
ltimo valor singular de una matriz proporcionan la siguiente informacion.
Luego r
p p
1 = 1 = max xT (AT A)x = max kAxk2 = max kAxk,
kxk=1 kxk=1 kxk=1
1
que acotan superior e inferiormente la magnitud de Ax en funcion de la magnitud de x.
En efecto, si x = 0 las desigualdades son obviamente ciertas. Si x 6= 0 tenemos que v = x/kxk
es unitario y por lo tanto n kAvk 1 . Pero kAvk = kAxk/kxk, con lo cual
kAxk
n 1 = n kxk kAxk 1 kxk.
kxk
El siguiente resultado sera clave para la construccion de la descomposicion en valores sin-
gulares de una matriz. Recordemos que toda matriz simetrica n n con coeficientes reales es
diagonalizable ortogonalmente, o, lo que es equivalente, existe una b.o.n. de Rn compuesta por
autovectores de ella.
1 2 r > r+1 = = n = 0,
2. { Av Avr
1 , . . . , r } es b.o.n. de col(A);
1
4. rango(A) = r = n
umero de v.s. no nulos de A.
Demostraci
on. Respecto del primer punto, como
(
j i = j
(Avi , Avj ) = (Avi )T (Avj ) = viT (AT Avj ) = viT (j vj ) = j (viT vj ) = ,
0 i 6= j
entonces Avi Avj si i 6= j y kAvi k = i = i para i = 1, . . . , n.
Respecto del punto 2., como por el punto 1. el conjunto { Av Avr
1 , . . . , r } es ortonormal, basta
1
probar que este genera el espacio columna de A. Para ello alcanza con ver que
2
Ejemplo 1 Consideremos la matriz
4 11 14
A= .
8 7 2
Como
80 100 40
AT A = 100 170 140 ,
40 140 200
y sus autovalores son 1 = 360, 2 = 90 y 3 = 0, tenemos que los v.s. de A son
1 = 360 = 6 10, 2 = 90 = 3 10 3 = 0.
Notamos que el rango de A es 2 y que hay exactamente 2 v.s. no nulos como informa el Teorema
1.
Busquemos ahora una b.o.n. de R3 compuesta por autovectores de AT A. Como
1 2 2
S1 = gen 2 , S2 = gen 1 y S3 = gen 2 ,
2 2 1
B = {v1 , v2 , v3 }, con
1 2 2
1 1 1
v1 = 2 , v2 = 1 y v3 = 2 ,
3 3 3
2 2 1
es una de tales bases.
Calculemos Avi para i = 1, 2, 3,
18 3 0
Av1 = , Av2 = y Av3 = .
6 9 0
Notamos que Avi Avj si i 6= j y que kAvi k = i para i = 1, 2, 3.
En particular {v3 } es b.o.n. de Nul(A) y { Av 1 Av2
1 , 2 } es b.o.n. de col(A), que en este caso
coincide con R2 .
2. Descomposici
on en valores singulares
En lo que sigue definiremos lo que se conoce como descomposicion en valores singulares
(DVS) de una matriz.
on 2 Sea A Rmn . Una descomposici
Definici on en valores singulares de A es una factoriza-
ci
on
A=U VT
con U Rmm y V Rnn ortogonales y Rmn con
1 0 0
0 2
D 0r(nr) 0
= y D= . .. . . .. con 1 2 r > 0.
0(mr)r 0(mr)(nr) .. . . .
0 0 r
0kl representa la matriz k l cuyos coeficientes son nulos.
3
Notar que si A = U V T es una DVS de A, con como en la Definicion 2, y vi y ui son las
i-esimas columnas de V y U respectivamente, entonces es facil ver que A puede ser escrita en la
forma
A = 1 u1 v1T + 2 u2 v2T + + r ur vrT ,
donde cada una de las matrices ui viT es de rango 1.
Definicion 3 Si A = U V T es una DVS de A, a los vectores que aparecen como columnas de
la matriz V se los denomina vectores singulares derechos de A mientras que a los que aparecen
como columnas de U se los denomina vectores singulares izquierdos de A.
El siguiente teorema nos dice que toda matriz admite una DVS.
Teorema 2 Sea A Rmn . Entonces existe un descomposicion en valores singulares de A.
Demostraci on. Sean 1 , . . . , n los autovalores de AT A. Supongamos que estan ordenados en
forma decreciente y que exactamente r de ellos son no nulos (r podra ser n). Sea {v1 , v2 , . . . , vn }
una b.o.n. de Rn tal que AT Avi = i vi para todo i = 1, . . . , n.
Definimos V = [v1 v2 vn ], que es ortogonal, y
1 0 0
0 2 0 p
D 0r(nr)
= con D = . . . . donde i = i .
0(mr)r 0(mr)(nr) .. .. . . ..
0 0 r
4
Observacion 1 La demostracion del Teorema 2 nos da un metodo para construir una DVS de
una matriz A. Metodo que podemos resumir de la siguiente manera.
Sea A Rmn .
4. Si r es el n
umero de v.s. de A no nulos, es decir, r > 0 y i = 0 para todo i r + 1,
definir
Av1 Av1 Avr
u1 = , u2 = , , ur = .
1 2 r
5. Si r < m, hallar ur+1 , . . . , um tales que {u1 , . . . , um } sea b.o.n. de Rm .
B = {v1 , v2 , v3 } con
1 2 2
1 1 1
v1 = 2 , v2 = 1 y v3 = 2 ,
3 3 3
2 2 1
5
Notamos que en la construccion de la DVS de A que hicimos en la demostracion del Teorema 2,
los elementos no nulos que aparecen en la diagonal principal de son los v.s. no nulos de A y
que las columnas de V , es decir, los vectores singulares derechos que utilizamos, son autovectores
de AT A. El siguiente resultado dice que lo anterior siempre ocurre, independientemente de la
forma en que la DVS haya sido obtenida.
Entonces
AT A = (U V T )T (U V T ) = V (T )V T .
Pero T es la matriz n n
12 0 0 0 0
0 22 0 0 0
.. .. .. .. .. . . ..
. . . . . . .
T =
0 0 r2 0 0 .
0 0 0 0 0
.. .. .. .. .. . . ..
. . . . . . .
0 0 0 0 0
6
on 2 Sea A = U V T una DVS de A Rmn . Entonces
Proposici
AT = V T U T
De la Proposicion 2 y del Teorema 3 deducimos que los vectores singulares izquierdos de una
matriz A son a la vez vectores singulares derechos de AT y por lo tanto autovectores de AAT .
Como los v.s. no nulos de A y de AT coinciden, calculamos los v.s. de AT , que son los autovalores
de AAT . Como
T 9 9
AA = ,
9 9
sus autovalores son 1 = 18 y 2 = 0. Luego 1 = 18 = 3 2 es el u nico v.s. no nulo tanto de
T
A como de A. En particular, los restantes v.s. de A son 2 = 3 = 0.
Para hallar una DVS de A, lo que hacemos primero es hallar una DVS de AT . Calculando
obtenemos la siguiente
n b.o.n de R2 compuesta
o por autovectores de AAT (ordenados seg un el
1 1 T 1 1 T
orden de los v.s.) [ 2 2 ] , [ 2 2 ] . Designemos por u1 y u2 a los vectores de esa base.
Ambos son vectores singulares derechos de AT (u1 corresponde a 1 y u2 a 2 = 0) y por lo
tanto vectores singulares izquierdos de A.
Para obtener los vectores singulares izquierdos de AT que nos permitan luego construir una
DVS de AT , teniendo en cuenta que hay un solo valor singular no nulo, definimos
1
AT u1 1
v1 = = 2 .
1 3
2
Para hallar los restantes vectores singulares izquierdos de AT debemos encontrar v2 , v3 tales
que {v1 , v2 , v3 } sea b.o.n. de R3 . Pero como v2 y v3 son a su vez vectores singulares derechos de
A y corresponden a valores singulares nulos de A, necesariamente Av2 = 0 y Av3 = 0. Luego
bastara con que hallemos una b.o.n. de Nul(A). Una posible b.o.n. es {v2 , v3 } con
0 4
1 1
v2 = 1 y v3 = 1 .
2 1 3 2 1
7
Entonces
AT = V U T
con V = [v1 v2 v3 ], U = [u1 u2 ] y
2 3 0
= 0 0 ,
0 0
es DVS de AT y, por lo tanto, A = U V T con = T es DVS de A.
Como ejercicio, se propone al lector que calcule una DVS de A en forma directa.
Ejemplo 4 Dada
1 1
1 1 0 2 0 0 2
0 2
A = 1 1 0 0
18 0 0 1 0 ,
1 1
0 0 1 0 0 0 2 0 2
hallar los valores singulares de A, bases de sus cuatro subespacios fundamentales y calcular sus
matrices de proyeccion.
La descomposicion que tenemos de A es casi una DVS, salvo por el hecho de que la matriz
U que aparece a la izquierda, si bien tiene columnas mutuamente ortogonales, estas no son de
8
norma 1. Procedemos entonces a normalizar las columnas de U dividiendo cada una de ellas
por su norma. Para que el producto siga siendo A, es necesario multiplicar la fila i de la matriz
umero por el cual dividimos la columna i de U . Queda entonces la factorizacion
central, por el n
1 1
1 0 2 0 0 0 12
2 2 2
A = 12 12 0 0 6 0 0 1 0 .
0 0 1 0 0 0 12 0 12
Esta factorizacion no es a
un una DVS, porque los elementos de la diagonal de la matriz
central no estan ordenados de mayor a menor. Para ello lo que hacemos es permutar las dos
primeras columnas de la matriz de la izquierda y las dos primeras filas de la matriz de la derecha.
Entonces obtenemos
1 1 0 6 0 0 0 1 0
2 2
1 1
A = 12 12 0 0 2 0 2 0 2 ,
0 0 1 0 0 0 12 0 12
1
2 0 21
PNul(A) = I Pfil(A) = 0 0 0 ,
1 1
2 0 2
0 0 0 0
PNul(AT ) = 0 0 0 1 = 0 0 0 ,
1 0 0 1
1 0 0
Pcol(A) = I PNul(AT ) = 0 1 0 .
0 0 0
9
4. DVS reducida
Veremos ahora como a partir de una DVS, A = U V T , podemos obtener una descomposicion
de A que emplea matrices de tama no reducido. Empleando la notacion de la seccion anterior,
escribimos U = [Ur Umr ] y V = [Vr Vnr ], donde r es el rango de A.
Entonces
D 0r(nr) VrT
A = U V T = [Ur Umr ] T = Ur DVrT .
0(mr)r 0(mr)(nr) Vnr
5. Soluci
on por cuadrados mnimos de norma mnima. Seudo-
inversa de Moore-Penrose
Si A Rmn y b Rn , la ecuacion Ax = b siempre admite soluciones por cuadrados mnimos
(c.m.). Si Nul(A) = {0}, o, equivalentemente, rango(A) = n, la solucion por c.m. es u nica; en
caso contrario hay infinitas soluciones por c.m., mas a
un, si xp es una solucion por c.m., entonces
todas las demas son de la forma: x =x p + xn con xn Nul(A).
Es importante en el caso en que hay infinitas soluciones por c.m. disponer de un criterio que
permita seleccionar una de estas infinitas soluciones. Un posible criterio es el siguiente.
Definicion 4 x es una soluci on por c.m. de norma mnima de la ecuaci on Ax = b si x es
soluci
on por c.m. y, adem
as, kx k kxk para todo x que sea soluci
on por c.m. de Ax = b.
En otras palabras, x es, de todas las soluciones por c.m. de Ax = b, una que tiene la menor
norma (longitud) posible.
A continuacion veremos que existe una u nica solucion por c.m. de norma mnima y daremos una
caracterizacion de ella que sera u
til para calcularla.
2. x es la u
nica soluci
on por c.m. de norma mnima de la ecuaci
on Ax = b.
10
Demostraci on. Primero probamos que existe una solucion por c.m. que pertenece a fil(A). Sea
p una solucion por c.m. de la ecuacion Ax = b. Sea x = Pfil(A) x
x p . Veamos que x tambien es
solucion por c.m. de la ecuacion. Como fil(A) = Nul(A) ,
x
p = Pfil(A) x p = x + PNul(A) x
p + PNul(A) x p .
Luego, dado que x
p una solucion por c.m. de la ecuacion Ax = b,
xp = A(x + PNul(A) x
Pcol(A) b = A p ) = Ax ,
y por lo tanto x es solucion por c.m. de la ecuacion Ax = b y pertenece a fil(A).
Ahora veamos que x es la u nica solucion por c.m. que pertenece a fil(A). Supongamos
que x0 es una solucion por c.m. que pertenece a fil(A). Entonces Ax = Ax0 = Pcol(A) b. Luego
x x0 Nul(A). Como x x0 fil(A) y fil(A) = Nul(A) , resulta x x0 = 0, y, por lo tanto,
x = x0 .
Hasta aqu hemos probado el punto 1. de la proposicion. Ahora probamos que x es la u nica
solucion por c.m. de norma mnima de la ecuacion Ax = b.
Primero vemos que x es solucion por c.m. de norma mnima. Sea x una solucion por c.m.
de la ecuacion. Entonces x
x Nul(A). Luego
xk2 = kx + (
k x x )k2 = kx k2 + k
x x k2
pues fil(A) = Nul(A) . Entonces kxk2 kx k2 y x es de norma mnima.
Finalizamos la demostracion viendo que x es la unica solucion de norma mnima. Supon-
gamos que y tambien es solucion de norma mnima. Entonces necesariamente kyk = kx k. Por
otro lado, dado que y x Nul(A) y que x fil(A),
kyk2 = kx + (y x )k2 = kx k2 + ky x k2 .
Entonces, necesariamente ky x k = 0, y, por lo tanto, y = x .
De acuerdo con la Proposicion 3, para hallar la solucion por c.m. de norma mnima, debemos
buscar entre las soluciones por c.m. de la ecuacion la solucion x que pertenece a fil(A). Para
hallar tal solucion podemos proceder como sigue.
Supongamos que A = Ur D VrT es una DVS reducida de A. Entonces, por lo expuesto en la
Seccion 3, Ur UrT = Pcol(A) , UrT Ur = I, las columnas de Vr son b.o.n. de fil(A) y D es inversible.
Luego, como x pertenece a fil(A), existe Rr tal que x = Vr . Como ademas x es
solucion por c.m. de Ax = b entonces
Pcol(A) b = Ax = AVr .
Luego, usando que Ur UrT = Pcol(A) , VrT Vr = I y A = Ur D VrT , tenemos que
Ur UrT b = Ur D VrT Vr = Ur D.
Multiplicando por izquierda por Ur y usando que UrT Ur = I, obtenemos
D = UrT b = = D1 UrT b,
y, por lo tanto,
x = Vr = Vr D1 UrT b.
Notemos que hemos probado que la solucion por c.m. de norma mnima de la ecuacion Ax = b
se obtiene multiplicando b por la matriz Vr D1 UrT .
11
Definicion 5 Sea A = Ur D VrT es una DVS reducida de A. La matriz A+ = Vr D1 UrT es la
matriz seudoinversa de Moore-Penrose de A.
Notamos que del hecho que para todo b Rn , x = A+ b es la unica solucion por c.m. de longitud
mnima de la ecuacion Ax = b, se deduce que A+ no depende de la DVS reducida empleada
para calcularla. En efecto, si A = Ur0 DVr0 T es otra DVS reducida de A, tenemos la igualdad
T
(Vr D1 UrT )b = x = (Vr0 D1 Ur0 )b b Rn .
Demostraci on. El punto 1. ya fue probado, el punto 2. se deduce inmediatamente del hecho
que A+ A = Vr VrT y que AA+ = Ur UrT .
Observaci
on 2 Del punto 2. del Teorema 4 deducimos inmediatamente que
A+ A = I fil(A) = Rn rango(A) = n.
Si A es inversible, entonces A1 = A+ .
Cuando rango(A) = n, la ecuacion Ax = b tiene una u nica solucion por cuadrados mnimos
x
, que esta dada por la formula x = A] b, con A] = (AT A)1 AT . Como en el caso en que la
solucion por c.m. es u
nica, esta es necesariamente la de norma mnima, tambien tenemos que
= A+ b. Luego
x
A] b = A+ b b Rn = A] = A+ .
La siguiente expresion de A+ a partir de una DVS de A es u til en algunas circunstancias.
Supongamos que A = U V T es una DVS de A Rmn , y que A es de rango r. Definamos
+ D1 0r(mr)
= Rnm .
0(nr)r 0(nr)(mr)
Notemos que el rango de A es 1, y por lo tanto A carece de inversa. Vamos a buscar entonces
una DVS reducida de A.
12
Como
T 40 80
A A= ,
80 160
sus autovalores son 1 = 200 y 2 = 0. Luego, A tiene un u nico v.s. no nulo, 1 = 200 = 10 2.
Para construir una DVS reducida debemos hallar un vector singular derecho v1 de A asociado
a 1 , o, lo que es lo mismo, un autovector unitario de AT A asociado a 1 , por ejemplo, v1 =
1 [1 2]T . Ahora, a partir de v1 definimos el vector singular izquierdo
5
Av1 1 1
u1 = = .
1 10 3
Entonces " #
1 1 2
A= 10 [10 2]
3 5 5
10
es una DVS reducida de A y
" #
1 1 1 3 1 1 3
+ 5
A = = .
2 10 2 10 10 100 2 6
5
13
Pn 2
Como yi = wi /i para i = 1, . . . , r y i=1 yi = 1, finalmente llegamos a la siguiente
conclusion:
1. Si r = n
w12 w2
z T (S n1 ) 2 + + 2n = 1 wn+1 = wn+2 = = wm = 0.
1 n
2. Si r < n,
r
w12 wr2 X 2
+ + = yi 1,
12 r2
i=1
y, por lo tanto,
w12 wr2
z T (S n1 ) + + 1 wr+1 = wr+2 = = wm = 0.
12 r2
2. Si rango(A) = 1, 1 > 0, 2 = 0 y
w2
T (S 1 ) = z R2 : z = w1 u1 + w2 u2 , 21 1, w2 = 0 = z R2 : z = tu1 , 1 t 1 ,
1
es el segmento de extremos P1 = 1 u1 , P2 = u1 .
3. Si rango(A) = 2, 1 2 > 0, y
w2 w2
T (S 1 ) = z R2 : z = w1 u1 + w2 u2 , 21 + 22 = 1 ,
1 2
resulta una elipse con centro en el origen, eje mayor de longitud 21 contenido en la recta
generada por u1 y eje menor de longitud 22 contenido en la recta u2 (Figura 1).
14
1.5 T(S1) x
2
1
u
2 2
0.5
x1
0.5
1 u1
1.5
2 1.5 1 0.5 0 0.5 1 1.5 2
3. Si rango(A) = 2, 1 2 > 0, 3 = 0 y
2 3 w12 w22
T (S ) = z R : z = w1 u1 + w2 u2 + w3 u3 , 2 + 2 1; w3 = 0 ,
1 2
15
col(A)
4
1 u1
T(S2) u3
0
2 u2
2
4
5
4
0 2
0
2
5 4
u
T(S2) 2 2
3u3 1u1
16