Clases Algebra Lineal Parte 3

Vectores ortogonales y subespacios vectoriales ortogonales Proyecciones sobre lineas
Álgebra Lineal
Ortogonalidad
1
Dr. José Antonio Camarena Ibarrola
Facultad de Ing. Eléctrica, Universidad Michoacana, México.
Septiembre, 2020
Outline
Vectores ortogonales y subespacios vectoriales ortogonales
Proyecciones sobre lineas

• Geométricamente una base equivale a un conjunto de ejes de un sistema

de coordenadas
• Cuando pensamos en los ejes de un sistema de coordenadas los
imaginamos ortogonales entre ellos
• Como vimos, para definir transformaciones necesitamos las bases de los
espacios vectoriales
• Necesitamos que la base sea ortogonal para simplificar los cálculos
• Si es ortonormal los cálculos se simplifican aún mas
La longitud de un vector
• La longitud del vector x se denota ||x||
• En 2 dimensiones es la longitud de la hipotenusa de un triángulo
rectángulo ||x||2 = x12 + x22
• En 3 dimensiones la longitud se obtiene por dos aplicaciones del teorema
de Pitágoras ||x||2 = x12 + x22 + x32
• Generalizando a n dimensiones ||x||2 = x12 + x22 + ... + xn2 = x T x
[Str06]
Vectores Ortogonales
Si dos vectores x y y son ortogonales, se cumple ||x||2 + ||y ||2 = ||x − y ||2
De donde:
(x12 + x22 + ...xn2 ) + (y12 + y22 + ...yn2 ) = (x1 − y1 )2 + (x2 − y2 )2 + ...(xn − yn )2
= (x12 + x22 + ...xn2 ) + (y12 + y22 + ...yn2 ) − 2(x1 y1 + x2 y2 + ...xn yn )
Para que esta igualdad se cumpla se debe cumplir:
(x1 y1 + x2 y2 + ...xn yn ) = 0
En conclusión, si dos vectores x y y son ortogonales, entonces x T y = 0

Ejemplo: (2,2,-1) es ortogonal a (-1,2,2)
Producto interno de dos vectores
 
X y1
T
x y= xi yi = x1 ... xn  :  = x1 y1 + x2 y2 + ... + xn yn
yn
• Si x T y = 0, entonces el ángulo entre x y y es de 90 grados

• Si x T y > 0, entonces el ángulo entre x y y es menor de 90 grados
• Si x T y < 0, entonces el ángulo entre x y y es mayor de 90 grados
• Ejemplo: (2,2,-1) es ortogonal a (-1,2,2)
La ortogonalidad garantiza la independencia
Los vectores v1 , v2 , ..., vk son mutuamente ortogonales si cada uno de estos

vectores es ortogonal al resto de ellos
Si los vectores v1 , v2 , ..., vk son mutuamente ortogonales, entonces son
linealmente independientes
Demostración: Sabemos que si v1 , v2 , ..., vk son linealmente independientes,
entonces para que c1 v1 + c2 v2 + ... + ck vk = 0 todos los coeficientes c1 , c2 , ...ck
deben valer cero
Comencemos por demostrar que c1 debe valer cero
Partiendo de
c1 v1 + c2 v2 + ... + ck vk = 0
Multiplicando ambos miembros por v1T
v1T (c1 v1 + c2 v2 + ... + ck vk ) = v1T 0 = 0
Gracias a la ortogonalidad viT vj = 0 para todo i 6= j, por lo tanto:
c1 v1T v1 = 0
pero v1T v1 = ||v1 ||2 y la magnitud de un vector no es cero, por lo tanto c1 = 0

Un procedimiento similar demostrarı́a que c2 = 0, etc
Subespacios ortogonales
• Para que dos subespacios sean ortogonales se requiere que cada vector de
un subespacio sea ortogonal a cada uno de los vectores del otro subespacio
• Un subespacio de 1D puede ser ortogonal a un subespacio de 1D
• Un subespacio de 2D puede ser ortogonal a un subespacio de 1D
• Un subespacio de 2D NO puede ser ortogonal a un subespacio de 2D
• Ejemplo: Sea V el plano generado por los vectores v1 = (1, 0, 0, 0) y
v2 = (1, 1, 0, 0), mientras que W es la linea generada por el vector
w = (0, 0, 4, 5). Es fácil comprobar que V y W son ortogonales, pero
como son vectores en R 4 hay espacio para un tercer subespacio ortogonal,
la lı́nea L generada por el vector (0,0,5,-4), los tres son subespacios de R 4
y los tres (V , W , L) son ortogonales
El subespacio renglones es ortogonal al subespacio nulo
• Sea A una matrı́z de mxn, C (AT ) y N(A) son subespacios de R n y son

ortogonales
• Demostración: Sabemos que el espacio nulo lo conforman los vectores x
que cumplen Ax = 0, en forma expandida, es:
    
a11 ... a1n x1 0
Ax =  : : :  :  =  : 
am1 ... amn xn 0
Observe que de acuerdo a esto, el producto interno del primer renglón de

la matrı́z A con el vector x resulta cero y por tanto dicho vector renglón,
que obviamente pertenece a C (AT ) y el vector x que pertenece a N(A)
son ortogonales. Lo mismo se puede decir de cualquiera de los otros
renglones respecto al vector x
• Demostración 2: Si x está en N(A) entonces Ax = 0, por otra parte si v
está en C (AT ), es una combinación de renglones, es decir v = AT z para
algún z, entonces: v T x = (AT z)T x = z T Ax = z T 0 = 0
El subespacio columnas es ortogonal al subespacio nulo izquierdo
• Sea A una matrı́z de mxn, C (A) y N(AT ) son subespacios de R m y son

ortogonales
• Demostración: Sabemos que el espacio nulo izquierdo lo conforman los
vectores y que cumplen AT y = 0, o bien y T A = 0 en forma expandida, es:
 
a11 ... a1n
y T A = y1 ... yn  :

: :  = 0 ... 0
am1 ... amn
Observe que de acuerdo a esto, el producto interno del vector y y la

primera columna de la matrı́z A resulta cero y por tanto dicho vector
columna, que obviamente pertenece a C (A) y el vector y que pertenece a
N(AT ) son ortogonales. Lo mismo se puede decir de cualquiera de los
otras columnas respecto al vector y
Ejemplo
• Sea la matriz  
1 3
A= 2 6 
3 9
• Todos los renglones son múltiplos del vector (1, 3), entonces el espacio
renglones es una lı́nea en R 2 donde están todos los múltiplos de (1,3) (no
solo los renglones de la matriz).
• Como la segunda columna es el triple de la primera, el vector (-3, 1)
pertenece N(A), el espacio nulo es una lı́nea en R 2
• Podemos ver que el vector (-3,1) que funciona como base de N(A) es
ortogonal al vector (1,3) que funciona como base de C (AT )
Ejemplo (continuación)
•  
1 3
A= 2 6 
3 9
• Todas las columnas son múltiplos del vector (1, 2, 3), entonces el espacio
columnas es una lı́nea en R 3 donde están todos los múltiplos de (1, 2, 3)
    
1 0 0 1 3 1 3
EA =  −2 1 0   2 6 = 0 0 
0 0 1 3 9 3 9
    
1 0 0 1 3 1 3
FEA =  0 1 0  0 0 = 0 0 
−3 0 1 3 9 0 0
    
1 0 0 1 0 0 1 0 0
L−1 = FE =  0 1 0   −2 1 0  =  −2 1 0 
−3 0 1 0 0 1 −3 0 1
• Entonces los vectores (-2, 1, 0) y (-3 , 0, 1) funcionan como base para
N(AT ), es un plano en R 3 y es ortogonal a C (A) como pueden checarlo
El complemento ortogonal de un subespacio
• Dado un subespacio V de R n , al espacio que consiste de todos los vectores

ortogonales a V le llamamos complemento ortogonal de V y lo
denotamos por V ⊥
• Teorema fundamental del álgebra (2a parte)
• El espacio nulo es el complemento ortogonal del espacio renglones en R n
• El espacio nulo izquierdo es el complemento ortogonal del espacio columnas
en R m
• Sabemos que Ax = b tiene solución si b pertenece al espacio columnas
• Ahora sabemos que Ax = b tiene solución si b es ortogonal al espacio nulo
izquierdo!
Ejemplo
Suponga un circuito eléctrico donde x1 , x2 , x3 son los voltajes nodales y

b1 , b2 , b3 son voltajes de elementos de modo que:
x1 − x2 = b1
x2 − x3 = b2
x3 − x1 = b3
La matrı́z A es la matrı́z de incidencia elemento-nodo:
    
1 −1 0 x1 b1
Ax =  0 1 −1   x2  =  b2  = b
−1 0 1 x3 b3
El espacio nulo izquierdo de esta matrı́z incluye al vector (1,1,1), si b está en el

espacio columnas, debe ser ortogonal a este vector, por tanto b1 + b2 + b3 =0
(Esta es la Ley de voltajes de Kirchhoff! )
Checar que la suma de voltajes sea cero alrededor de un ciclo es más fácil que
identificar que b sea una combinación de las columnas
Complementos Ortogonales
• Observe que dos subespacios pueden ser ortogonales y no ser

complementos mutuos
• Sean V y W son subespacios de R n
Si W = V ⊥ entonces V = W ⊥ y dim(V)+dim(W)=n
• V = V ⊥⊥
[Str06]
Si R se descompone en dos subespacios complementarios, como lo son C (AT )

n
y N(A), entonces cualquier vector x ∈ R n se puede descomponer en dos

vectores x = xr + xn tales que xr ∈ C (AT ) es la proyección de x en el espacio
renglones y xn ∈ N(A) es la proyección de x en el espacio nulo [Str06]
[Str06]
Ax = A(xr + xn ) = Axr + Axn = Axr + 0 = Axr = b
• La componente de un vector en el espacio renglones es el que se

transforma en un vector del espacio columnas
• Cada vector en el espacio columnas proviene de exactamente un vector del
espacio renglones
• Todo el espacio nulo se transforma en el vector cero
• Nada se transforma al espacio nulo izquierdo
• A transforma el espacio renglones en el espacio columnas
• AT transforma el espacio columnas en el espacio renglones pero no
recupera los vectores originales
• Ese honor le corresponde a A−1 y si no existe a A+ (La pseudo-inversa
derecha)
Outline
Proyecciones sobre lineas

El coseno y la proyección sobre una lı́nea

• Sabemos que si el producto interno entre dos vectores es cero, estos son
ortogonales.
• Si queremos determinar la distancia de un punto b a una lı́nea en la
dirección del vector a, buscamos el punto p sobre la lı́nea que esté mas
cerca al punto b
• Donde sea que esté ese punto p, el hecho es que si conectamos b con p
con una lı́nea, esa lı́nea serı́a perpendicular a a
[Str06]
La proyección sobre un plano o subespacio
• La ortogonalidad surge de manera natural en problemas de optimización

• También si queremos encontrar el punto p que está en un plano ( o en
general en cualquier subespacio) mas cercano a un punto b que está fuera
del plano
• Dicho punto p es la proyección de b en el plano (o subespacio)
• De nuevo, la linea que une b y p es perpendicular al plano
• La longitud de la lı́nea que va de b p es la distancia entre b y el plano
El Coseno y los productos internos

Considere los vectores a y b con ángulos α y β respecto al eje x
[Str06]
||a|| es la hipotenusa del triángulo OaQ; senα = a2 /||a||, y cosα = a1 /||a||
b1 a1 b2 a2 a1 b1 + a2 b2
cosθ = cos(β−α) = cosβcosα+senβsenα = + =
||b|| ||a|| ||b|| ||a|| ||a|| ||b||
En conclusión, El producto interno de los vectores a y b es una medida del
coseno del ángulo entre ellos
aT b
cosθ =
||a|| ||b||
Se utiliza como medida de distancia entre vectores, la distancia coseno
Alternativamente, recordando la ley de cosenos
||b − a||2 = ||b||2 + ||a||2 − 2||b|| ||a||cosθ
(b − a)T (b − a) = b T b + aT a − 2||b|| ||a||cosθ

b T b − 2aT b + aT a = b T b + aT a − 2||b|| ||a||cosθ
aT b = ||b|| ||a||cosθ
Proyección sobre una linea

La proyección de un punto b sobre la linea a debe ser un punto p = x̂a
El problema es encontrar el valor del escalar x̂
Recordemos que e = b − p debe ser perpendicular a a
(b − p)⊥a; aT (b − p) = 0
aT (b − x̂a) = 0; aT b − x̂aT a = 0
aT b aT b
x̂ = ; p = x̂a = a
aT a aT a
[Str06]
La desigualdad de Schwarz
||e||2 no puede ser negativo
||b − p||2 ≥ 0
T
2
b − a b a ≥ 0

T
a a
T 2
T (aT b)2 a b
b b−2 T + aT a ≥ 0
a a aT a
(b T b)(aT a) − (aT b)2
≥0
aT a
(b T b)(aT a) − (aT b)2 ≥ 0
(b T b)(aT a) ≥ (aT b)2
||b||2 ||a||2 ≥ (aT b)2
La desigualdad de Schwarz es
||b|| ||a|| ≥ (aT b)
(aT b)
1≥ ; |cosθ| ≤ 1
||b|| ||a||
Ejemplo
• Sea b = (1, 2, 3) y a = (1, 1, 1)
aT b 6
x̂ = = =2
aT a 3
• La proyección es entonces p = x̂a = (2, 2, 2)
• El ángulo entre a y b es
aT b 6
cosθ = = √ √
||a|| ||b|| 3 14
• Checando desigualdad de Schwarz
√ √
(aT b) ≤ ||b|| ||a||; 6≤ 3 14; 36 ≤ (3)(14); 36 ≤ 42
Matriz de proyección (de rango 1)
• Vimos que la proyección de b sobre a es
aT b
p = x̂a = a
aT a
• Podemos hacer un aparentemente sutil cambio
aT b
p=a
aT a
1 1
p= aaT b = Pb; P= aaT
aT a aT a
• aaT resulta en una matriz cuadrada de rango 1
• Ejemplo. La matriz que proyecta un vector sobre la linea definida por el
vector a = (1, 1, 1) es
   
1 1/3 1/3 1/3
1
1 T
P = T aa = 1  1 1 1 =  1/3 1/3 1/3 
a a 3
1 1/3 1/3 1/3
Matriz de proyección (de rango 1)
• De nuevo proyectemos el vector b = (1, 2, 3) sobre la lı́nea a = (1, 1, 1)

usando ahora la matrı́z de proyección de a
    
1/3 1/3 1/3 1 2
 1/3 1/3 1/3   2  =  2 
1/3 1/3 1/3 3 2
• Observe que el espacio columnas de esta matriz es la lı́nea que pasa por
a = (1, 1, 1)
• El espacio nulo consiste de los vectores perpendiculares a a (Un plano
perpendicular a a)
• Como toda matrı́z de proyección P es simétrica y P 2 = P
• De hecho C (P) = N(P T )⊥ y C (P T ) = N(P)⊥ pero como P es simétrica,
entonces C (P) = C (P T )
Ejemplo
• Para proyectar un vector sobre la linea a = (cosθ, senθ)

cosθ
t cosθ senθ
senθ cos 2 θ

aa cosθsenθ
P= = =
sen2 θ

aT a cosθ cosθsenθ
cosθ senθ
senθ
• Que es la misma matrı́z de proyección que vimos en el capı́tulo anterior

Proyecciones y mı́nimos cuadrados
• ¿Qué pasa cuando hay más ecuaciones que incógnitas?

2x = b1
3x = b2
4x = b3
• Estrictamente la solución solo existe si b está en la lı́nea que pasa por
(2,3,4)
• En la práctica eso difı́cilmente ocurre y aun ası́ se requiere una solución
con el mı́nimo error
• El error cuadrado que deseamos minimizar es:
E 2 = (2x − b1 )2 + (3x − b2 )2 + (4x − b3 )2
dE 2
= 2(2x − b1 )2 + 2(3x − b2 )3 + 2(4x − b3 )4 = 0
dx
2b1 + 3b2 + 4b3 aT b
x̂ = 2 2 2
= T
2 +3 +4 a a
• la teorı́a de Cálculo confirma el enfoque del álgebra lineal (El vector error
e que conecta a b con p debe ser perpendicular a a)
Mı́nimos cuadrados con varias variables
• Si queremos resolver Ax = b donde A tiene n columnas (número de

variables) y hay m observaciones
• Como lo mas probable es que b no pertenezca al subespacio columnas,
debemos ahora de proyectar b en el subespacio C(A) que no
necesariamente es una linea
• Debemos encontrar x̂ que minimice el error E = ||Ax − b||
• Equivale a localizar el punto p = Ax̂ que esté a menor distancia de b
• El vector error e = b − p = b − Ax̂ debe ser perpendicular al espacio
columnas y por tanto debe pertenecer al espacio izquiero nulo de A o al
espacio nulo de AT
AT (b − Ax̂) = 0
AT Ax̂ = AT b
• De manera equivalente, el vector error debe ser ortogonal a cada una de

las n columnas a1 , a2 , ..., an de A
• Es decir, a1T (b − Ax̂) = 0, a2T (b − Ax̂) = 0, ... ,anT (b − Ax̂) = 0
• Esto quiere decir de nuevo AT (b − Ax̂) = 0, de donde AT Ax̂ = AT b
[Str06]
• AT Ax̂ = AT b
• x̂ = (AT A)−1 AT b
• p = Ax̂ = A(AT A)−1 AT b
• Ejemplo, sea   
1 42
A= 1b= 5 3 ;
0 60
 
2 1
1 1 0 
2 5
AT A = 3 = 1
2 3 05 13
0 0
 
4
T −1 T 13 −5 1 1 0 2
x̂ = (A A) A b =  5  =
−5 2 2 3 0 1
6
   
1 2 4
2
p = Ax̂ =  1 3  = 5 
1
0 0 0
     
4 4 0
e =b−p = 5 − 5 = 0 
6 0 6
Observaciones
• Cuando el vector b está en el espacio columnas la proyección sobre el

espacio columnas no lo modifica (P 2 = P) y se puede resolver Ax = b
• Cuando el vector b está en el espacio izquierdo nulo, entonces AT b = 0 y
p = A(AT A)−1 AT b = 0, es decir, el vector b se proyecta al vector cero.
• Cuando A es invertible p = A(AT A)−1 AT b = AA−1 (AT )−1 AT b = b, es
decir p = b
• Cuando A tiene una sola columna a, entonces AT A es el número aT a y
x̂ = at b/at a
• AT A siempre es simétrica. Demostración: (AT A)T = AT ATT = AT A
• AT A tiene el mismo espacio nulo que A. Demostración: Si Ax = 0,
entonces AT Ax = 0 es decir (AT A)x = 0
• Como AT A es cuadrada y simétrica, entonces C (A) = C (AT ) y
N(A) = N(AT )
• En conclusión si todas las columnas de A forman un conjunto de vectores
linealmente independiente, entonces AT A es invertible
Matriz de proyección
• Si p = A(AT A)−1 AT b y p = Pb entonces P = A(AT A)−1 AT

• P2 = P
• PT = P
Ajuste de datos de mı́nimos cuadrados
• Suponga que se realizan una serie de experimentos que resultan en una

serie de mediciones
• Si se espera que los datos se ajusten a una lı́nea recta, es decir
b = C + Dt y si son m mediciones, entonces:
C + Dt1 = b1
C + Dt2 = b2
:
C + Dtm = bm
Este es un Sistema sobredeterminado , es decir con más ecuaciones que
incógnitas, matricialmente:
   
1 t1 b1
 1 t2  C  b2 
Ax =  :
 =  : =b

:  D
1 tm bm
• Queremos encontrar la mejor solución x̂ = (Ĉ , D̂)

• Para eso se realiza la proyección p = Pb = Ax̂
Ejemplo
Se toman 3 mediciones como se muestra en la figura:
[Str06]
   
1 −1 1
C
Ax =  1 1  = 1 =b
D
1 2 3
Convertimos Ax = b en AT Ax̂ = AT b
 
1 −1
T 1 1 1  3 2
A A= 1 1 =
−1 1 2 2 6
1 2
 
1
1 1 1  5
AT b = 1 =
−1 1 2 6
3
Ejemplo

3 2 Ĉ 5
=
2 6 D̂ 6
De donde Ĉ = 9/7 y D̂ = 4/7 por lo que la mejor lı́nea es (4/7)t + 9/7
[Str06]
   
1 −1 5/7
9/7
p = Ax̂ =  1 1  =  13/7 
4/7
1 2 17/7
     
1 5/7 2/7
e = b − p =  1  −  13/7  =  −6/7  ; ||e||2 = e T e = 56/49
3 17/7 4/7
Formulación rápida
 
1 t1 P
1 1 ... 1  1 t2  m P t2i
AT A =  = P
t1 t2 ... tm  : :  ti ti
1 tm
 
b1 P
1 1 ... 1 b2  = P bi
AT b =


t1 t2 ... tm  :  ti bi
bm
Por lo tanto el sistema de ecuaciones que hay que resolver es:
P P
m P t2i Ĉ bi
P = P
ti ti D̂ ti bi
Matrı́z Ortogonal
• Un conjunto de vectores q1 , q2 , ..., qn es ortonormal si cumple
qiT qj = 0 ∀i 6= j
qiT q1 = 1 ∀i
• Una matriz es ortogonal si todas sus columnas conforman un conjunto
ortonormal de vectores y se denota por Q
• Si las columnas de Q son ortonormales entonces Q T Q = I
[Str06]
Con esto se demuestra que Q −1 = Q T

Matriz ortogonal
• Ya vimos que las matrices de rotación son ortogonales, las matrices de

permutación también
    
0 1 0 0 0 1 1 0 0
PP T =  0 0 1  1 0 0 = 0 1 0 =I
1 0 0 0 1 0 0 0 1
• Multiplicar por una matriz ortogonal preserva la longitud de los vectores

Demostración: ||Qx||2 = (Qx)T (Qx) = x T Q T Qx = x T x = ||x||2
• Multiplicar por una matriz ortogonal preserva los productos internos y por
tanto los ángulos
Demostración: (Qx)T (Qy ) = x T Q T Qy = x T y
Base ortogonal
• Descubrir la manera en que se combinan los vectores base para producir

un vector especı́fico del espacio vectorial es muy simple cuando la base es
ortonormal
b = x1 q1 + x2 q2 + ... + xn qn
Para averiguar el valor de x1 multiplicamos ambos miembros por q1T
q1T b = q1T x1 q1 + q1T x2 q2 + ... + q1T xn qn
De donde:
x1 = q1T b
• De manera similar determinamos el valor de x2 como x2 = q2T b
• Todo el conjunto de coeficientes se determina como x = Q T b donde Q es
la matriz cuyas columnas son la base del espacio vectorial (q1 , q2 , ..., qn )
• Cualquier vector b es igual a (q1T b)q1 + (q2T b)q2 + ... + (qnT b)qn
• En otras palabras cualquier vector del espacio es igual a la suma de sus
proyecciones sobre los vectores ortogonales
Matriz ortogonal
• Si las columnas de una matrı́z cuadrada son ortonormales, entonces los

renglones también lo son, Ejemplo:
 √ √ √ 
1/√3 1/ 2 1/ √6
Q =  1/√3 0√ −2/√ 6 
1/ 3 −1/ 2 1/ 6
• En matrices rectangulares con columnas ortogonales se cumple que

Q T Q = I , es decir Q T es inversa izquierda de Q
• Para el problema de mı́nimos cuadrados eso es todo lo que necesitamos
• El problema se simplifica entonces si en el sistema de ecuaciones
sobredeterminado Qx = b, Q tiene columnas ortonormales
Qx = b; Q T Q x̂ = Q T b; x̂ = Q T b;
p = Q x̂ = QQ b, y como p = Pb, entonces P = QQ T
T
Ejemplo: Ajuste a recta por mı́nimos cuadrados

• Cuando los tiempos de medición promedian cero, el problema de ajuste de
mı́nimos cuadrados a una recta implica una matriz de coeficientes con
columnas ortogonales (aunque no ortonormales)
• Ejemplo, suponga que se toman tres mediciones en los tiempos
t1 = −3, t2 = 0 y t3 = 3
   
1 −3 y1
C
Ax =  1 0  =  y2  = b
D
1 3 y3
Las columnas q1 = (1, 1, 1) y q2 = (−3, 0 − 3) son ortogonales (aunque no

ortonormales) por lo que
q1T y y1 + y2 + y3
Ĉ = = 2
q1T q1 1 + 12 + 12
q2T y −3y1 + 3y3

D̂ = =
q2T q2 (−3)2 + 02 + 32
• Observe que hubo que dividir entre la magnitud cuadrada de los vectores
columna puesto que si bien son ortogonales no tienen magnitud unitaria
Ortogonalización de Gram-Schmidt
Para obtener un conjunto de vectores ortonormales q1 , q2 , q3 a partir de un
conjunto de vectores independientes a, b, c se procede de la siguiente manera:
q1 = a/||a||
B = b − (q1T b)q1
q2 = B/||B||
C = c − (q1T c)q1 − (q2T c)q2
q3 = C /||C ||
[Str06]
Ejemplo
Sean los siguientes vectores independientes
     
1 1 2
a =  0 , b =  0 , c= 1 
1 0 0
 √ 
1/ 2
q1 = a/||a|| =  0√ 
1/ 2
    √   
1 √ √ 1 1/ 2 1/2
T

B = b −(q1 b)q1 =  0  − 1/ 2 0 1/ 2  0   0√  =  0 
0 0 1/ 2 −1/2
 √ 
1/ 2
q2 = B/||B|| =  0√ 
−1/ 2
C = c − (q1T c)q1 − (q2T c)q2
    √    √ 
2
1 1  2   1/ 2 

1 1  2   1/ 2 

C =  1 − √ 0 √ 1 0√ − √ 0 −√ 1 0√
0 2 2 0 1/ 2 2 2 0 −1/ 2
   
0 0
C = 1  q3 = C /||C || =  1 
0 0
Matriz ortogonal
Si el conjunto original de vectores independientes fueran las columnas de una

matrı́z  
1 1 2
A= 0 0 1 
1 0 0
El proceso de ortogonalización de los vectores columna hubieran producido la
matriz  √ √ 
1/ 2 1/ 2 0
Q =  0√ 0√ 1 
1/ 2 −1/ 2 0
Ortogonalización de Gram-Schmidt
• El proceso de ortogonalización de Gram-Schmidt comienza con un
conjunto de vectores independientes a1 , a2 , ..., an
• En el paso j substrae de aj sus proyecciones en las direcciones de los
vectores q1 , q2 , ..., qj−1 los cuales ya son ortogonales entre ellos
Aj = aj − (q1T aj )q1 − (q2T aj )q2 − ... − (qnT aj )qn

Aj
Entonces qj = ||Aj ||
• Se puede evitar manejar radicales desde el inicio si se deja la normalización

hasta el final, pero a cambio se requiere hacer una división adicional en
cada paso
• En el ejemplo anterior:
 
1
  [1 0 1]  0       1   1 
T 1 0 1 1 2 2
a b
B = b− T a =  0 −    0  =  0 − 0  =  0 
a a 1 1
0 1 0 2
− 12
[1 0 1]  0 
1
Factorización QR
Si comenzamos con una matrı́z A cuyas columnas eran los vectores a, b, c y

terminamos con una matrı́z Q cuyas columnas son los vectores q1 , q2 , q3 , ¿Cual
es la relación entre las matrices A y Q?. La respuesta está en la figura
[Str06]
b= (q1T b)q1 + (q2T b)q2
Matriz ortogonal
Entonces
b = (q1T b)q1 + (q2T b)q2
De manera similar
c = (q1T c)q1 + (q2T c)q2 + (q3T c)q3
Y también a = (q1T a)q1 , todo eso se puede expresar matricialmente:
[Str06]
Entonces podemos descomponer una matrı́z A en dos factores, una matriz
ortogonal Q y una matrı́z triangular superior R
A = QR
Ejemplo
Para el ejemplo
 
1
√ √

1 1 
q1T a = √ 0 √ 0  = 2/ 2 = 2
2 2 1
 
1
√

1 1
q1T b = √ 0 √  0  = 1/ 2
2 2 0
 
1
√

1 1
q2T b = √ 0 − √  0  = 1/ 2
2 2 0
 
2
T 1 1 
q1 c = √ 0 √ 1  = sqrt2
2 2 0
 
2
T 1 1 
q2 c = √ 0 − √ 1  = sqrt2
2 2 0
 
2
q3T c = [0 1 0]  1  = 1
0
Ejemplo
[Str06]
Aplicación a solución de sistemas sobredeterminados
• Cualquier matrı́z de tamaño m × n cuyas columnas sean independientes se

puede descomponer en dos matrices Q y R de modo que A = QR
• En el problema de encontrar el valor de x̂ que minimiza el error de acuerdo
al criterio de mı́nimos cuadrados de un sistema de ecuaciones
sobredeterminado Ax = b, podemos reemplazar A por QR
QRx = b
Q T QR x̂ = Q T b
Pero como Q es ortogonal Q −1 = Q T
R x̂ = Q T b
• Este sistema de ecuaciones se resuelve por simple sustitución hacia atrás

El espacio de Hilbert
• Es un subespacio de R ∞ que contiene vectores con un número infinito de

componentes pero de magnitud finita
• El espacio de Hilbert contiene al vector (1, 12 , 13 , ...), pero no al vector
(1,1,1,...)
• Como en los demás espacios vectoriales, los vectores pueden sumarse y
multiplicarse por escalares
• También se cumple la desigualdad triangular (||v + w || ≤ ||v || + ||w ||)
• Si dos vectores v y w del espacio de Hilbert son ortogonales entonces su
producto interno es igual a cero
v T w = v1 w1 + v2 w2 + v3 w3 + ... = 0
• El produco interno entre vectores del espacio de Hilbert obedece la

desigualdad de Schwarz (||v T w || ≤ ||v || ||w ||)
Espacio de funciones
• El conjunto de valores que puede tomar una función en un intervalo finito
se pude ver como un vector con un número infinito de valores, por ejemplo
la función f (x) = sen(x) en el intervalo de 0 a 2π
• Para encontrar la magnitud de una función integramos en lugar de sumar
Z 2π Z 2π
||f ||2 = f 2 (x)dx = sen2 (x)dx = π
0 0
• Al igual que en cualquier espacio vectorial, las funciones se pueden

combinar linealmente (sumarse y/o multiplicarse por un escalar) para
generar otras funciones
• El producto interno entre dos funciones, por ejemplo f (x) = sen(x) y
g (x) = cos(x) se realiza también integrando
Z 2π Z 2π
(f , g ) = f (x)g (x)dx = sen(x)cos(x)dx = 0
0 0
• Cuando el producto interno entre dos funciones es igual a cero, decimos

que dichas funciones son ortogonales
• La magnitud cuadrada de una función es igual al producto interno de la
función consigo misma (f , f ) = ||f 2 ||
Series de Fourier
Un sinnúmero de funciones se pueden expresar como una serie de Fourier que se puede
ver como una combinación lineal de senos y cosenos
f (x) = a0 + a1 cos(x) + b1 sen(x) + a2 cos(2x) + b2 sen(2x) + ...
Para calcular el coeficiente de Fourier a1 multiplicamos ambos miembros por cos(x) e
integramos
R 2π R 2π
+ a1 02π cos 2 (x)dx + b1 02π sen(x)cos(x)dx +
R R
0 R f (x)cos(x)dx = a0 0 cos(x)dx
2π R 2π
a2 0 cos(2x)cos(x)dx + b2 0 sen(2x)cos(x)dx + ...
Gracias a que todos estos senos y cosenos son funciones ortogonales, este cálculo se
reduce a solo Z 2π Z 2π
f (x)cos(x)dx = a1 cos 2 (x)dx
0 0
De donde R 2π
0 f (x)cos(x)dx (f , cos(x))
a1 = R 2π =
cos 2 (x)dx (cos(x), cos(x))
0
Se puede ver la analogı́a, el componente del vector b sobre la linea a es (b T a)/(aT a)
El análisis de Fourier determina las coordenadas del “vector” f (x) respecto al

conjunto infinito de coordenadas ortogonales sen(x), cos(x), sen(2x), cos(2x), ...
Gram-Schmidt para funciones
• Hay muchas funciones útiles para conformar una base para un espacio
funcional
• Por ejemplo 1, x, x 2 , x 3 , ...
• Conviene ortogonalizar en el intervalo de -1 a 1 pues en ese intervalo al
menos dos parejas ya son ortogonales (1, x) = 0 y (x, x 2 ) = 0
• Como v1 = 1 y v2 = x ya son ortogonales en ese intervalo, iniciamos la
ortogonalización con x 2
(1, x 2 ) (x, x 2 )
v3 = x 2 − 1− x
(1, 1) (x, x)
R1 2
x dx 1
v3 = x − R−1
2
1
= x2 −
1dx 3
−1
• La familia de poliniomios resultante se llaman polinomios de Legendre

Dudas
antonio.camarena@umich.mx
Bibliografı́a
Gilbert Strang.
Linear algebra and its applications.
Thomson, Brooks/Cole, Belmont, CA, 2006.

Clases Algebra Lineal Parte 3

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Clases Algebra Lineal Parte 3

Cargado por

Copyright:

Formatos disponibles

Vectores ortogonales y subespacios vectoriales ortogonales Proyecciones sobre lineas

Facultad de Ing. Eléctrica, Universidad Michoacana, México.

Vectores ortogonales y subespacios vectoriales ortogonales

Proyecciones sobre lineas

Vectores ortogonales y subespacios vectoriales ortogonales

• Geométricamente una base equivale a un conjunto de ejes de un sistema

= (x12 + x22 + ...xn2 ) + (y12 + y22 + ...yn2 ) − 2(x1 y1 + x2 y2 + ...xn yn )

Para que esta igualdad se cumpla se debe cumplir:

En conclusión, si dos vectores x y y son ortogonales, entonces x T y = 0

Producto interno de dos vectores

• Si x T y = 0, entonces el ángulo entre x y y es de 90 grados

La ortogonalidad garantiza la independencia

Los vectores v1 , v2 , ..., vk son mutuamente ortogonales si cada uno de estos

v1T (c1 v1 + c2 v2 + ... + ck vk ) = v1T 0 = 0

Gracias a la ortogonalidad viT vj = 0 para todo i 6= j, por lo tanto:

pero v1T v1 = ||v1 ||2 y la magnitud de un vector no es cero, por lo tanto c1 = 0

El subespacio renglones es ortogonal al subespacio nulo

• Sea A una matrı́z de mxn, C (AT ) y N(A) son subespacios de R n y son

Observe que de acuerdo a esto, el producto interno del primer renglón de

El subespacio columnas es ortogonal al subespacio nulo izquierdo

• Sea A una matrı́z de mxn, C (A) y N(AT ) son subespacios de R m y son

Observe que de acuerdo a esto, el producto interno del vector y y la

El complemento ortogonal de un subespacio

• Dado un subespacio V de R n , al espacio que consiste de todos los vectores

Suponga un circuito eléctrico donde x1 , x2 , x3 son los voltajes nodales y

El espacio nulo izquierdo de esta matrı́z incluye al vector (1,1,1), si b está en el

• Observe que dos subespacios pueden ser ortogonales y no ser

Si R se descompone en dos subespacios complementarios, como lo son C (AT )

y N(A), entonces cualquier vector x ∈ R n se puede descomponer en dos

• La componente de un vector en el espacio renglones es el que se

Vectores ortogonales y subespacios vectoriales ortogonales

Proyecciones sobre lineas

El coseno y la proyección sobre una lı́nea

La proyección sobre un plano o subespacio

• La ortogonalidad surge de manera natural en problemas de optimización

El Coseno y los productos internos

Alternativamente, recordando la ley de cosenos

||b − a||2 = ||b||2 + ||a||2 − 2||b|| ||a||cosθ

(b − a)T (b − a) = b T b + aT a − 2||b|| ||a||cosθ

Proyección sobre una linea

||b|| ||a|| ≥ (aT b)

• Sea b = (1, 2, 3) y a = (1, 1, 1)

Matriz de proyección (de rango 1)

• Vimos que la proyección de b sobre a es

Matriz de proyección (de rango 1)

• De nuevo proyectemos el vector b = (1, 2, 3) sobre la lı́nea a = (1, 1, 1)

• Para proyectar un vector sobre la linea a = (cosθ, senθ)

• Que es la misma matrı́z de proyección que vimos en el capı́tulo anterior

Proyecciones y mı́nimos cuadrados

• ¿Qué pasa cuando hay más ecuaciones que incógnitas?

Mı́nimos cuadrados con varias variables

• Si queremos resolver Ax = b donde A tiene n columnas (número de

• De manera equivalente, el vector error debe ser ortogonal a cada una de

• Cuando el vector b está en el espacio columnas la proyección sobre el

• Si p = A(AT A)−1 AT b y p = Pb entonces P = A(AT A)−1 AT

Ajuste de datos de mı́nimos cuadrados

• Suponga que se realizan una serie de experimentos que resultan en una

• Queremos encontrar la mejor solución x̂ = (Ĉ , D̂)

• Un conjunto de vectores q1 , q2 , ..., qn es ortonormal si cumple

Con esto se demuestra que Q −1 = Q T

• Ya vimos que las matrices de rotación son ortogonales, las matrices de

• Multiplicar por una matriz ortogonal preserva la longitud de los vectores

• Descubrir la manera en que se combinan los vectores base para producir

q1T b = q1T x1 q1 + q1T x2 q2 + ... + q1T xn qn