Documentos de Académico
Documentos de Profesional
Documentos de Cultura
F. Guillén González
Depto. EDAN
Universidad de Sevilla
guillen@us.es
Índice general
2. Condicionamiento 18
2.1. Condicionamiento de sistemas lineales . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2. Número de Condición de una matriz . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3. Número de Condición y residuo . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.4. Precondicionamiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5. Condicionamiento de autovalores . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2
Capı́tulo 1
Definición 1.1.1 Una norma sobre V (norma vectorial) es una aplicación k · k : V → IR+ que
verifica
a) kvk ≥ 0 ∀ v ∈ V y kvk = 0 ⇔ v = θ
1. ku − vk ≤ kuk + kvk ∀ u, v ∈ V
2. | kuk − kvk | ≤ ku ± vk ∀ u, v ∈ V
d(u, v) = ku − vk, ∀ u, v ∈ V
k · k : (V, k · k) → (IR+ , | · |)
es continua.
Definición 1.1.2 Dos normas son equivalentes sobre V si inducen el mismo espacio topológico.
3
Lema 1.1.3 Dos normas sobre un e.v. V , k · k1 y k · k2 son equivalentes si y solo si existen dos
constantes C1 , C2 > 0 tales que
Teorema 1.1.4 Si V es de dimensión finita, todas las normas que se pueden definir sobre V
son equivalentes.
Si V tiene dimensión n (finita), dada una base de V se puede identificar V con IKn mediante
sus componentes en dicha base: v = (v1 , ..., vn )t .
Ejemplo. Ejemplos de normas vectoriales son
n
X
kvk1 = |vi | (norma 1 o norma de la suma)
i=1
à n !1/2
X
2
kvk2 = |vi | (norma euclı́dea)
i=1
à n !1/p
X
p
kvkp = |vi | para p ≥ 1 (p-norma)
i=1
kvk∞ = máx |vi | (norma del máximo o norma uniforme)
1≤i≤n
Si IK = C
I , el producto escalar hermı́tico viene dado por
n
X
∗
(·, ·) : V × V → C
I, (u, v) = u · v = v u = u∗ v = ui v i
i=1
4
Definición 1.1.5 Sea (V, k · k) un espacio normado. Se dice que una sucesión {vk } ⊂ V con-
verge a v ∈ V , y se denota vk → v o lı́mk→+∞ vk = v si lı́mk→+∞ kvk − vk = 0. v se llama el
lı́mite de {vk } ⊂ V .
Si la dimensión de V es finita, la equivalencia de las normas implica que la convergencia de una
sucesión es independiente de la norma elegida. Si se considera la norma del máximo, se ve que
la convergencia de una sucesión equivale a la convergencia por componentes
Nota. La norma kAk∞ = máx |aij | no es norma matricial. Como consecuencia de esto y
1≤i,j≤n
de la convergencia de las p-normas a la norma infinito, se puede ver (en problemas) que no
todas las p-normas para p > 2 son matriciales.
Antes de ver las primeras propiedades de las normas matriciales, recordamos los siguientes
conceptos previos:
Definición 1.2.2 Se dice que λ ∈ C
I es una autovalor o valor propio de A si
∃ v ∈ V, v 6= θ : Av = λv
5
Definición 1.2.3 Se llama espectro de A y se denota sp (A) al conjunto de los autovalores de
A; sp (A) = {λ1 (A), . . . , λn (A)}
Demostración.
1) Es consecuencia inmediata de la propiedad d) de las normas matriciales.
2) Sigue de la anterior haciendo A = I y k = 2.
3) Hay que probar que lı́m kAk − θk = 0. Pero
k→+∞
que es contradictorio. Nótese que hemos probado que si I + B es singular entonces ||B|| ≥ 1
para cualquier norma matricial.
De la igualdad (I + B)−1 (I + B) = I se deducen
(I + B)−1 = I − (I + B)−1 B ⇒ k(I + B)−1 k ≤ kIk + k(I + B)−1 k kBk luego
kIk
k(I ± B)−1 k ≤
1 − kBk
6
kIk ≤ k(I + B)−1 k k(I + B)k ≤ k(I + B)−1 k(kIk + kBk) luego
kIk
≤ k(I ± B)−1 k
kIk + kBk
Entonces, A + B es invertible y
kIk kA−1 k
k(A + B)−1 k ≤
1 − kA−1 k kBk
Demostración. Tenemos que kA−1 Bk ≤ kA−1 k kBk < 1, luego por el Teorema 1.2.6, I +A−1 B
es invertible. Entonces A + B = A(I + A−1 B) también es invertible (A lo es por hipótesis).
Usando la estimación superior del Teorema 1.2.6
k(A + B)−1 k = k(I + A−1 B)−1 A−1 k ≤ k(I + A−1 B)−1 k kA−1 k ≤
A es normal si A∗ A = AA∗ .
Nota. Una matriz A es unitaria si y solo si sus columnas constituyen una base ortonormal de
IKn .
7
Observación.
a) Los elementos de la diagonal de T son los autovalores de A. En efecto, A y T son
semejantes luego tienen el mismo polinomio caracterı́stico y las matrices triangulares tienen
por autovalores los elementos de su diagonal.
b) A consecuencia de la nota anterior, puede ocurrir que una matriz real tenga todos sus
autovalores complejos y por tanto que la descomposición A = U T U ∗ sea de matrices complejas.
c) Se hace la demostración obteniendo una T triangular superior. Si se quisiera obtener
una triangular inferior basta aplicar el Teorema a A∗ . En efecto, si existe U unitaria tal que
U ∗ A∗ U = T , se deduce tomando adjuntos que U ∗ AU = T ∗ y T ∗ es triangular inferior.
8
1 0 ... 0 λ β2 ... βn
0
0
= V WT
= V .. .
. Wn−1 .. Tn−1
0 0
siendo T triangular superior. Basta llamar ahora U = V W, U ∈ Mn que es unitaria por ser
el producto de dos matrices unitarias y comprobar que se verifica AU = U T .
Nota. La matriz de paso está constituida por los autovectores de A. De modo que una matriz es
normal si y solo si existe una base ortonormal de autovectores de A. Una matriz es diagonalizable
(semejante a una matriz diagonal) si y solo si existe una base de autovectores de A. Por tanto,
el conjunto de matrices normales está contenido en el conjunto de matrices diagonalizables.
D∗ = U ∗ A∗ U = U ∗ AU = D
9
de modo que D es hermı́tica (o simétrica) y
Como ambas cosas dependen solamente de los autovalores entonces quedan invariantes por
semejanzas, luego también coincide con el determinante y traza de A.
c) Por el Teorema de Schur Ak = U T k U ∗ , luego Ak = U T k U ∗ . Basta ahora tener en cuenta que
T k es también una matriz triangular cuya diagonal tiene por elementos los de la diagonal de T
elevados a k.
De forma similar, para matrices simétricas el razonamiento se puede hacer en IR.Como en el
Corolario 1.3.4 se deduce que
Corolario 1.3.6 Si A ∈ Mn (IR), entonces A es simétrica si y solo si existe una matriz real
ortogonal O y una matriz diagonal (real) D tales que Ot AO = D. Es decir, las matrices
simétricas son las matrices reales diagonalizables con matriz de paso ortogonal.
Nota. Las matrices consideradas en el Teorema de Schur y sus Corolarios no son únicas.
Considérese, por ejemplo, el caso A = I.
n v ∗ Av (Av, v)
RA : C
I \ {θ} → C
I, RA (v) = ∗ = , v 6= θ.
v v (v, v)
Proposición 1.4.2 a)El cociente de Rayleigh de una matriz hermı́tica toma valores reales.
b) RA (αv) = RA (v), ∀ α ∈ C I n \ {θ}
I \ {θ}, ∀ v ∈ C
v ∗ Av = v t Av = (v t Av)t = v ∗ A∗ v.
Luego si A es hermı́tica
b)
(αv)∗ A(αv) |α|2 v ∗ Av
RA (αv) = = = RA (v)
(αv)∗ (αv) |α|2 v ∗ v
Se recuerda que toda matriz hermı́tica es diagonalizable con autovalores reales y para la que
siempre es posible encontrar una base ortonormal de autovectores asociados.
10
Teorema 1.4.3 (Teorema de Courant-Fisher) Sea A ∈ Mn (IC) hermı́tica de autovalores
λ1 ≤ ... ≤ λn y {p1 , ..., pn } una base ortonormal de autovectores asociados. Para k = 1, ...n,
denotamos Vk = {subespacios de C I n de dimension k } y Vk = hp1 , ...pk i y V0 = V0 = {θ}.
Entonces, se verifica
a) λk = RA (pk ), k = 1, ..., n
b) λk = máx
v∈V
RA (v). En particular, λn = máx Cn
v∈I
RA (v).
k
v6=θ v6=θ
c) λk = v⊥V
mı́n RA (v). En particular, λ1 = mı́n
Cn
v∈I
RA (v).
k−1
v6=θ v6=θ
I n \ {θ}} = [λ1 , λn ].
f ) {RA (v) : v ∈ C
Por tanto
RA (v) ≥ λk , ∀ v ∈ Vk \ {θ}
lo que junto con la propiedad a) implica que λk = mı́nVk \{θ} RA (v).
f) Es evidente (usando apartado b) con k = n y c) con k = 1) que RA (v) ∈ [λ1 , λn ],
∀v ∈C I n \ {θ}
Veamos el recı́proco. Sea ∂B1 = {z ∈ C I n : |z| = 1}. En primer lugar, se tiene que
RA (ICn \ {θ}) = RA (∂B1 ), teniendo en cuenta que RA (αv) = RA (v) y tomando α = 1/kvk.
Se considera entonces la aplicación v ∈ ∂B1 7→ RA (v) ∈ IR que es continua. Como ∂B1 es
conexo, también lo es RA (∂B1 ). Por tanto, RA (ICn \ {θ}) es un intervalo (que son los conexos
de IR) que contiene a λ1 = RA (p1 ) y a λn = RA (pn ). De modo que [λ1 , λn ] ⊂ RA (ICn \ {θ}).
11
1.5. Matrices hermı́ticas y definidas
Sea A ∈ Mn (IK) una matriz hermı́tica.
c) De la expresión anterior,
Análogamente para A∗ A.
v ∗ Av = RA (v)(v ∗ v) ∀ v ∈ C
I n \ {θ},
siendo el segundo de los factores siempre positivo y el rango del primero de ellos igual a [λ1 , λn ].
12
Teorema 1.5.6 (Factorización singular de una matriz)
a) Si A ∈ Mn (IC), entonces existen U, V ∈ Mn (IC) unitarias tales que U ∗ AV = diag (µi (A)).
b) Si A ∈ Mn (IR), entonces existen U, V ∈ Mn (IR) ortogonales tales que U t AV = diag (µi (A)).
Proposición 1.6.2 Dada una norma matricial cualquiera, siempre existe una norma vectorial
con la que es consistente.
kvk = k[v|θ|...|θ]k
13
Ejemplo. La norma matricial euclı́dea k · k2 es consistente con la norma vectorial euclı́dea
k · k2 . En efecto, de la desigualdad de Cauchy-Schwarz
n
à n !1/2 à n !1/2
X X X
ui v i ≤ |ui |2 |vi |2
i=1 i=1 i=1
se deduce ¯ ¯2
Xn ¯¯X n ¯
¯ Xn n
X Xn
kAvk22 = ¯
¯ aij vj ¯¯ ≤ |aij |2 |vj |2 =
i=1 ¯j=1 ¯ i=1 j=1 j=1
X n Xn
= |aij |2 |vj |2 = kAk2 kvk2 2 2
i,j=1 j=1
kAvk
k · k : Mn (IK) → IR+ , kAk = sup
v∈IKn kvk
v6=θ
kAk = máx
v∈IKn
kAvk = máx
v∈IKn
kAvk = ı́nf{M > 0 : kAvk ≤ M kvk, ∀ v ∈ IKn }
kvk≤1 kvk=1
Demostración. En problemas.
Nota.
1) Para toda norma matricial subordinada, kIk = 1.
2) Existen normas matriciales que no son subordinadas a ninguna √ norma vectorial. Por
ejemplo, la norma euclı́dea k · k2 no es subordinada porque kIk2 = n 6= 1, si n ≥ 2.
3) Es claro que kAvk ≤ kAk kvk ∀ v ∈ IKn . Por tanto, la norma subordinada es consistente
con la norma vectorial dada. Además, es la menor de entre todas las normas consistentes.
De hecho, existen elementos “alineados”, es decir, ∃ v ∈ IKn \ θ tal que ||Av|| = ||A|| ||v||. El
recı́proco también es cierto: una “aplicación” consistente y con elementos alineados es la norma
subordinada.
14
b) La norma matricial subordinada a la norma vectorial k · k∞ se llama norma fila y viene
dada por
Xn
kAvk∞
kAkF := sup = máx |aij |
v∈IKn kvk∞ i
j=1
v6=θ
por el Teorema de Courant-Fisher. Por otra parte, es claro que λn (A∗ A) = µn (A)2 .
Demostración. Por el Corolario 1.3.4, existe U unitaria tal que U ∗ AU = diag (λi (A)). To-
mando adjunto U ∗ A∗ U = diag(λi (A)). Multiplicando las dos expresiones anteriores U ∗ A∗ AU =
diag (|λi (A)|2 ). Por tanto λi (A∗ A) = |λi (A)|2 para cada i =q1, ..., n. En particular ρ(A∗ A) =
ρ(A)2 , de donde se deduce el resultado usando que ||A||S = ρ(A∗ A)
Demostración. De las dos primeras igualdades se deduce la tercera, luego basta probar las
dos primeras igualdades, es decir, que
ρ(A∗ A) = ρ(U ∗ A∗ AU ) = ρ(A∗ U ∗ U A).
Es evidente la igualdad entre el primer y tercer término. La primera igualdad sigue de que el
espectro de una matriz es invariante por semejanzas.
Veamos ahora que se puede aproximar superiormente el radio espectral de una matriz dada
mediante normas matriciales de la matriz convenientemente elegidas. Para ello es necesario
previamente el siguiente
Lema 1.7.6 Denotemos kvk una norma vectorial en C I n y kAk la norma matricial subordinada
en Mn (IC). Sea H ∈ Mn (IC) una matriz regular. Consideremos la aplicación
I n → IR+ ,
k · kH : C kvkH = kH −1 vk
Entonces
I n.
a) kvkH es una norma vectorial en C
b) La norma matricial subordinada a ella viene dada por
kBvkH
k · kH : Mn (IC) → IR+ , kBkH := sup = kH −1 BHk
v6=θ kvkH
15
Demostración. En problemas
El anterior resultado se lee como sigue en un caso particular: sea H una matriz regular; la
aplicación
I n −→ IR+ , kvkH = kH −1 vk∞
k · kH : C
es una norma vectorial y su norma matricial subordinada es la aplicación
Teorema 1.7.7 Dada A ∈ Mn (IC), y ε > 0, existe una norma matricial subordinada, kAk
(dependiente de A y ε), tal que kAk ≤ ρ(A) + ε.
Se introduce la matriz Dδ = diag (1, δ, δ 2 , ..., δ n−1 ) donde δ 6= 0 es un parámetro que se fi-
jará posteriormente. Se tiene que Dδ es regular y se verifica que
λ1 δt12 δ 2 t13 . . . δ n−1 t1n
0 λ2 δt23 . . . δ n−2 t2n
Dδ−1 U −1 AU Dδ = (U Dδ )−1 A(U Dδ ) = Dδ−1 T Dδ =
· · · ... ·
0 0 0 . . . δtn−1,n
0 0 0 ... λn
es una norma matricial subordinada a una norma vectorial k(U Dδ )−1 vk∞ . En esta norma
16
Demostración.
1) ⇒ 2)
Sea k · k una norma matricial consistente con la norma vectorial dada en IKn . Entonces
∀ v ∈ IKn , kB k vk ≤ kB k k kvk → 0
B 2 v = λBv = λ2 v ⇒ ... ⇒ B k v = λk v
Demostración. Por el Corolario 1.3.5 se tiene que ρ(B) = ρ(B k )1/k . Y por la Proposición
1.2.5, ρ(B k ) ≤ kB k k. De modo que ρ(B) ≤ kB k k1/k .
En consecuencia, para probar la tesis bastará justificar que
kB k k
≤1
(ρ(B) + ε)k
1
En efecto, dado ε > 0, consideremos la matriz Bε = B que está bien definida (aunque
ρ(B) + ε
1
pudiera ser ρ(B) = 0). Como λi (Bε ) = λi (B), entonces ρ(Bε ) < 1 y por el Teorema
ρ(B) + ε
1.7.8,
1
lı́m Bεk = lı́m Bk = θ
k→+∞ k→+∞ (ρ(B) + ε)k
De modo que
kB k k
∃ k0 : ∀ k ≥ k0 , ≤1
(ρ(B) + ε)k
17
Capı́tulo 2
Condicionamiento
18
Distinguiremos las dos posibilidades siguientes
1) Condicionamiento con respecto al segundo miembro: b → b + δb.
2) Condicionamiento respecto de la matriz: A → A + δA.
3) Finalmente el problema general se resuelve combinando ambos resultados.
Definición 2.1.1 Denotemos kuk una norma vectorial cualquiera y kAk su norma matricial
subordinada. Sea A ∈ Mn (IR) invertible. Se llama número de condición de A (respecto de dicha
norma matricial) a
cond (A) = kAk · kA−1 k (∈ IR+ )
kδuk kδbk
≤ cond (A)
kuk kbk
donde la norma vectorial que aparece es aquélla de la que es subordinada la norma matricial
que define el número de condición de la matriz. Además, la desigualdad es óptima, es decir,
existen b y δb no nulos tales que se verifica la igualdad.
Demostración. En efecto:
Para lograr la igualdad, basta considerar que por ser kAk una norma matricial subordinada,
Tomando b0 = Au0 6= θ y δu0 = A−1 (δb0 ), resulta que todas las desigualdades anteriores son
igualdades.
19
Condicionamiento respecto de la matriz
Comparamos los sistemas Au = b y (A + δA)(u + δu) = b.
Teorema 2.1.3 a) Sea A ∈ Mn invertible y b ∈ IRn con b 6= θ. Sea δA ∈ Mn tal que
(A + δA)v = b tenga una solución, a la que denotamos u + δu. Entonces, se verifica
kδuk kδAk
≤ cond (A)
ku + δuk kAk
donde la norma vectorial que aparece es aquélla de la que es subordinada la norma matricial
que define el número de condición de la matriz. Además, la desigualdad es óptima, es decir,
existen b y δA no nulos tales que se verifica la igualdad.
b) Si kδAk · kA−1 k < 1, entonces se verifica
kδuk kδAk
≤ cond (A) [1 + O(kδAk)]
kuk kAk
donde O(s) (sı́mbolo de Landau) es una función escalar tal que O(s)/s → c ≥ 0 cuando s → 0
(es decir, es una función que tiende a cero cuando s → 0 al menos como lo hace s).
Tomamos
−1
δu0 = A w0
u0 + δu0 = w0 ⇒ u0 = w0 − A−1 w0
b0 = Au0 = Aw0 − w0
Con todo esto, la condición (A + δA)(u0 + δu0 ) = b0 obliga a que
(A + βI)w0 = Aw0 − w0 =⇒ β = −1
20
En consecuencia,
kδuk kδAk 1
≤ cond (A) · · −1
kuk kAk 1 − kA k · kδAk
1
Si se escribe el Teorema del Valor Medio de la función f (r) = para |r| < 1, se tiene
1−r
1
f (r) = f (0) + f 0 (ξ)r, 0 < ξ < r =⇒ f (r) = 1 + r, 0<ξ<r
(1 − ξ)2
de modo que
1 1
= 1+ kA−1 k · kδAk, 0 < ξ < kA−1 k · kδAk
1− kA−1 k · kδAk (1 − ξ)2
Au = b, (A + δA)û = b + δb.
En consecuencia,
min (εr (u), ε0r (u)) ≤ cond (A)(εr (b) + εr (A)).
21
Teorema 2.2.1 1) ∀ A ∈ Mn , invertible, se verifica
µn (A)
cond S (A) =
µ1 (A)
donde µ1 (A) > 0 y µn (A) > 0 designan el menor y el mayor valor singular de A.
3) Si A ∈ Mn es invertible y normal, entonces
Demostración. 1) Se tiene
22
4) Si A es unitaria (u ortogonal), se tiene que |λi (A)| = 1 para cada i = 1, ..., n. Como
además A es normal y se tiene 3), resulta que condS (A) = 1.
5) Basta recordar que la norma espectral de una matriz es invariante ante transformaciones
unitarias.
Observación. 1) La desigualdad, cond (A) ≥ 1 indica que un sistema lineal estará tanto mejor
condicionado cuanto más próximo esté el número de condición a 1. Y a su vez esto depende
de que los módulos de los autovalores de la matriz estén próximos o no. Ası́ en el ejemplo de
sistema mal condicionado de Wilson, se puede comprobar que λ1 ≈ 0,01 y λ4 ≈ 30,28.
2) De los apartados 1) y 3) del Teorema se deduce que para una matriz normal, condS (A) ≤
cond (A), para cualquier norma matricial que se considere. Es decir, el menor número de con-
dición para una matriz normal es el condS (A).
3) Según el apartado 3) del Teorema, para una matriz normal el número de condición
espectral será grande si y solo si son muy distantes los módulos extremos de sus autovalores.
Pero para una matriz que no sea normal, el número de condición puede ser grande aunque sus
autovalores tengan módulos iguales, porque en el apartado 1) se tiene solo una desigualdad.
4) Del apartado 4) se deduce que las matrices unitarias están óptimamente condicionadas.
La posibilidad de emplear transformaciones unitarias sin que varı́e el número de condición, hace
que se utilicen matrices unitarias (u ortogonales) como matrices auxiliares en algunos métodos
de resolución de sistemas lineales (matrices de Householder).
5) Debido a que la norma espectral de una matriz puede ser complicada de obtener, puede
ser útil en ocasiones la siguiente estimación
condS (A) := kAkS · kA−1 kS ≤ kAk2 · kA−1 k2 = cond2 (A).
23
Nota. El sistema del ejemplo anterior está mal condicionado. Puede comprobarse que
µ ¶ µ ¶
1 2 −10000 10000
A= , A−1 =
1,0001 2 5000,5 −5000
2.4. Precondicionamiento
Según hemos visto, un sistema lineal está tanto mejor condicionado cuanto más próximo
está a 1 el número de condición de su matriz. La filosofı́a del precondicionamiento es reemplazar
la resolución del sistema Au = b por la del sistema equivalente
C −1 Au = C −1 b
donde se elige C −1 de modo que cond (C −1 A) < cond (A). Es claro que la mejor elección posible
es C = A porque cond (C −1 A) = cond (I) = 1, pero si se conoce A−1 entonces la solución del
sistema lineal es inmediata.
La idea es, pues, buscar una C “fácil de invertir” y “parecida a A”, para la cual el nuevo
número de condición disminuya. Hay pocos métodos de precondicionamiento generales, sino
que suelen estar adaptados al método de resolución que se utilice y al tipo de matriz que se
considere.
Veremos a continuación uno muy sencillo que se puede utilizar de forma general.
Pn
Definición 2.4.1 Una matriz A ∈ Mn se dice equilibrada por filas si j=1 |aij | no depende de
i (es decir, esta suma es constante).
La equilibración por filas es un proceso que se consigue multiplicando la matriz por la izquierda
por una matriz diagonal regular.
Proposición 2.4.2 Toda matriz regular se convierte en una equilibrada al multiplicarla por la
izquierda por cierta matriz diagonal regular.
Demostración. En efecto, sea B = (bij ) una matriz regular dada. Buscamos la matriz D =
diag (di ) con di > 0 para que D−1 B sea equilibrada. Se tiene
−1
d 1 b11 . . . b1n d−1
1 b11 . . . d−1
1 b1n
D−1 B =
..
. ...
. = . ... .
.
−1
dn bn1 . . . bnn d−1
n bn1 . . . d−1
n bnn
basta tomar
1X
di = |bij |, i = 1, ..., n
α j
24
Proposición 2.4.3 Sea B ∈ Mn una matriz regular y D ∈ Mn una matriz diagonal regular
tal que D−1 B sea equilibrada por filas. Entonces, cond F (D−1 B) ≤ cond F (B).
P
Demostración. Supongamos que kD−1 BkF = α. Como D−1 B es equilibrada por filas, d−1
i j |bij | =
α para cada i. En consecuencia,
X
kBkF = máx |bij | = α máx |dii | = αkDkF
i i
j
Entonces
Vamos a comprobar ahora que esta matriz es la mejor matriz diagonal que podemos tomar para
disminuir el número de condición fila de la matriz.
Proposición 2.4.4 Sea A ∈ Mn una matriz regular y D1 , D2 ∈ Mn matrices diagonales
regulares tales que D1−1 A sea equilibrada por filas. Entonces, cond F (D1−1 A) ≤ cond F (D2−1 A).
Demostración. Ya que D1−1 A = D1−1 D2 D2−1 A, basta aplicar la Proposición 2.4.3 anterior,
para D−1 = D1−1 D2 y B = D2−1 A.
25
Su polinomio caracterı́stico es det (λI − A(ε)) = λn − ε (desarrollando por ejemplo por la
primera fila). Para ε = 0, se tiene que sp (A(0)) = {0}, mientras que para ε 6= 0, el espectro
de A está constituido por las raı́ces n-ésimas de ε. Por ejemplo, si n = 40 y ε = 10−40 , los
autovalores de A(ε) tienen de módulo 10−1 ; es decir, la variación de los autovalores en módulo
es igual a la variación de ε multiplicada por 1039 . Observamos que pequeñas variaciones de los
datos provocan grandes variaciones en los resultados.
Pretendemos estudiar cómo afectan al cálculo de autovalores pequeñas variaciones de la
matriz. Nos restringiremos al caso de las matrices (complejas) diagonalizables.
Teorema 2.5.1 (Bauer-Fike) Sea A ∈ Mn (IC) diagonalizable, P una matriz regular (com-
pleja) tal que P −1 AP = D = diag (λi (A)) y k·k una norma matricial subordinada que verifique
que para cualquier matriz diagonal,
Como el primer miembro es singular y el primer factor del segundo es regular, se deduce que
I + (D − λI)−1 P −1 (δA)P es singular y del Teorema 2.1.3 (inversión de matrices del tipo I + B),
sigue que
1 ≤ k(D − λI)−1 P −1 (δA)P k
y, por tanto, aplicando que la norma es matricial,
sp (A + δA) ⊂ ∪ni=1 {z ∈ C
I : |z − λi (A)| ≤ Γ(A)kδAk}
26
Nota. 1) La propiedad que se le pide a la norma matricial en el Teorema 2.5.1 es verificada
por las normas subordinadas más usuales, por ejemplo, por k · kF , k · kC , k · kS .
2) En principio, cond (A) y Γ(A) no están relacionados .
3) Cuando A es normal (en particular simétrica), sabemos que es diagonalizable con matriz
de paso unitaria. Y es sabido que si P es unitaria condS (P ) = 1. Por tanto ΓS (A) = 1 también.
Es decir, las matrices normales están óptimamente condicionadas para el problema de valores
propios.
En general, tan solo puede afirmarse que los autovalores de A+δA están en la unión de las bolas
centradas en cada autovalor de A y de radio Γ(A)kδAk. En el caso particular de las matrices
normales sabemos que Γ(A) = 1 y que
sp (A + δA) ⊂ ∪ni=1 {z ∈ C
I : |z − λi (A)| ≤ kδAkS }
Pero puede afirmarse más si las matrices A y δA son hermı́ticas: se sabe en qué bola está cada
autovalor de la matriz perturbada, como nos afirma el siguiente
βk = mı́n máx RA+δA (v) ≤ máx RA+δA (v) = máx (RA (v) + RδA (v)) ≤
W ∈Vk v∈W \{θ} v∈Vk \{θ} v∈Vk \{θ}
Pero máx
n
RδA (v) = λn (δA) ≤ ρ(δA) = kδAkS ; por tanto βk ≤ αk + kδAkS . Intercambiando
v∈IC \{θ}
A y A + δA se obtiene αk ≤ βk + kδAkS y, por tanto |αk − βk | ≤ kδAkS .
27
Capı́tulo 3
3.1. Introducción
Los métodos directos de resolución de los sistemas lineales son los que a través de un número
finito de pasos generarı́an (en ausencia de errores de redondeo) una solución exacta. Por el con-
trario, un método indirecto da lugar a una sucesión de vectores que, en el caso de convergencia,
idealmente llegan a la solución en un número infinito de pasos. En la práctica, el cálculo se
detiene cuando se alcanza cierto grado de precisión.
Los métodos indirectos suelen ser métodos iterativos, en donde se construye la sucesión de
aproximaciones usando un algoritmo automático de recurrencia. Indicaremos las ventajas de
los métodos iterativos frente a los directos, cuyo paradigma es el método de Gauss.
Los métodos iterativos son apropiados para sistemas lineales de grandes dimensiones (por
costo computacional) y con frecuencia muy eficientes en el caso de matrices “huecas” (ésta suele
ser la situación, por ejemplo, en la resolución numérica de ecuaciones en derivadas parciales).
El coste computacional de los algoritmos directos más usados son de orden n3 , O(n3 ), mientras
que el de los iterativos es de O(n2 ) por iteración. Además, si la matriz es hueca con O(n)
elementos no nulos, el coste por iteración de los métodos iterativos es O(n).
Por otra parte, a menudo los métodos iterativos se pueden “paralelizar” en varios procesa-
dores a la vez, mientras que los directos no. Finalmente, los métodos directos no son operativos
para matrices mal condicionadas, mientras que en este caso los métodos indirectos pueden
admitir técnicas especı́ficas de precondicionamiento.
Ejemplo. Sea el sistema
µ ¶Ã ! à !
7 −6 x1 3
=
−8 9 x2 −4
1 4
cuya solución es x1 = = 0,2 y x2 = − = −0,26. Inicialmente se eligen x01 y x02 como valores
5 15
iniciales. La k-ésima iteración podrı́a venir dada por:
(
xk1 = (6xk−1
2 + 3)/7
xk2 = (8xk−1
1 − 4)/9
Este procedimiento se conoce como el método de Jacobi (obsérvese que es un proceso en paralelo,
porque xk1 y xk2 se pueden calcular a la vez).
28
Podemos modificar el método “actualizando” en cada iteración el valor xk−1
1 por el valor más
k k
reciente x1 al resolver la segunda ecuación para x2 . Este método, que se llama de Gauss-Seidel,
se escribirı́a ası́ (
xk1 = (6xk−1
2 + 3)/7
xk2 = (8xk1 − 4)/9
siendo ya un proceso secuencial (no paralelo).
Algunos valores que se obtienen por ambos métodos son:
k xk1 Jacobi xk2 Jacobi xk1 G-S xk2 G-S
0 0,000000 0,000000 0,000000 0,000000
10 0,148651 −0,198201 0,219773 −0,249088
20 0,186516 −0,249088 0,201304 −0,265308
30 0,196615 −0,262154 0,200086 −0,266590
40 0,199131 −0,265508 0,200006 −0,266662
50 0,199777 −0,266369 0,200000 −0,266666
Observamos que ambos métodos convergen al parecer al mismo lı́mite (la solución exacta),
pero que el segundo lo hace más rápidamente; se dirá entonces que tiene mayor velocidad de
convergencia.
para cierta matriz B ∈ IKn×n y vector c ∈ IKn . Obviamente, (M) está bien definido, es decir,
dado u0 cualquiera, podemos construir la sucesión uk de forma única. Estudiaremos los con-
ceptos de consistencia, convergencia y velocidad de convergencia del método (M) respecto del
sistema lineal (SL).
Consistencia
Diremos que (M) es consistente con (SL) si suponiendo que existe lı́mite ue de uk para algún
u0 , entonces necesariamente ue coincide con la solución u de (SL). Tomando lı́mites en la relación
de recurrencia de (M), es fácil deducir que ue verifica el sistema lineal
(SL)0 u = Bu + c,
29
Convergencia del método
Consideramos (M) consistente con (SL) y denotamos por ek = uk − u al error (exacto) en
la etapa k. Se dirá que el método (M) es convergente (globalmente) si y solo si lı́mk→∞ ek = 0
(para cada u0 ∈ IRn ).
Teorema 3.2.1 (Caracterización de la convergencia) El método iterativo (M) es conver-
gente si y solo si ρ(B) < 1.
Demostración. Se tiene
ek = uk − u = Buk−1 + c − (Bu + c) = B(uk−1 − u) = Bek−1
y, por tanto, para cada k ≥ 0,
ek = Bek−1 = B 2 ek−2 = ... = B k e0
Por tanto, el método iterativo será directo si existe k0 ∈ IN tal que B k0 = θ y será convergente
si y solo si
lı́m B k v = θ, ∀ v ∈ IKn
k→∞
El Teorema sigue ahora del Teorema 1.7.8.
En particular, de ek = Bek−1 se tiene kek k ≤ kBk · kek−1 k (con kBk < 1), luego la convergencia
se tiene con orden al menos lineal. Además, se puede demostrar que ρ(B) = 0 si y solo si
convergencia en un número finito de pasos (orden de convergencia infinito).
Velocidad de convergencia
Entre los métodos iterativos convergentes a (SL), nos interesa cuantificar su velocidad de
convergencia. Veremos dos casos
i) Supongamos B normal y consideramos la norma vectorial k · k2 .
En estas condiciones,
kek k2 = kB k e0 k2 ≤ kB k kS ke0 k2 = ρ(B k )ke0 k2 = ρ(B)k ke0 k2
La desigualdad es óptima al considerar la norma espectral, que es subordinada a k · k2 .
La siguiente igualdad sigue de ser B normal (Proposición 1.7.4). La última igualdad, del
Corolario 1.3.5.
Por tanto, en el caso de matrices normales, el método es más rápidamente convergente
(respecto de la norma espectral) cuanto más pequeño sea ρ(B).
La anterior es una estimación de error a priori, ya que conociendo una estimación de
ke0 k y de kBk (o de ρ(B)), permite determinar (antes de iterar) cuantas iteraciones
serı́an necesarias para asegurar una aproximación deseada.
ii) Caso general: B cualquiera y cualquier norma vectorial.
Ahora tenemos que para cada ε > 0, existe una norma matricial subordinada tal que
kBk ≤ ρ(B) + ε. Entonces, considerando la norma vectorial asociada a la norma subor-
dinada,
kek k ≤ kBkk ke0 k ≤ (ρ(B) + ε)k ke0 k
Veremos que, asintóticamente, la conclusión es la misma que en el caso i), en el sentido
que kek k se comporta en el lı́mite como ρ(B)k .
30
Teorema 3.2.2 Sea k · k una norma vectorial cualquiera. Entonces
( )
1/k
lı́m máx kek k = ρ(B)
k→∞ ke0 k≤1
Por tanto
máx kek k1/k = kB k k1/k → ρ(B)
ke0 k≤1
según el Teorema 1.7.9.
Nótese que para cada ε > 0, existe k0 tal que, para cada k ≥ k0
(ρ(B) − ε)k ≤ máx kek k ≤ (ρ(B) + ε)k
ke0 k≤1
31
3.3. Métodos de Jacobi, Gauss-Seidel y ralajación por
puntos.
Estos métodos son casos particulares de métodos iterativos de tipo residuo. Fijamos el
sistema lineal
(SL) Au = b, A ∈ IKn×n regular
Sea M una matriz “fácil de invertir”, en el sentido de que el sistema lineal de matriz M sea
fácil de resolver. En la práctica, M va a ser diagonal o triangular. Entonces
Au = b ⇔ M −1 Au = M −1 b ⇔ u = u + M −1 (b − Au) ⇔ u = (I − M −1 A)u + M −1 b
teniendo, por tanto, el sistema equivalente (SL)0 u = Bu + c, con
B = I − M −1 A, c = M −1 b y I − B = M −1 A (regular).
Consideramos el método iterativo
(
u0 ∈ IKn×n dado
uk+1 = (I − M −1 A)uk + M −1 b, k≥0
que será convergente si y solo si ρ(I − M −1 A) < 1. En consecuencia, cuanto más se parezca
M a A, más convergente será el método (en el caso lı́mite de considerar M = A, en la primera
iteración tendremos la solución exacta u1 = A−1 b).
En la práctica, se resuelven los sistemas lineales sucesivos de matriz M :
M (uk+1 − uk ) = b − Auk (= r(uk ) : residuo)
Luego por costo computacional, es conveniente que M sea “fácil de invertir”, pero para la
convergencia era conveniente M próximo a A. Aquı́ hay que establecer un equilibrio, porque
cuanto más se parezca M a A, más costoso serán de resolver los sistemas de matriz M .
Observación. Otra forma de llegar a (SL)0 es descomponer A = M − N con M regular,
haciendo
(SL) Au = b ⇔ M u = N u + b ⇔ u = M −1 N u + M −1 b (SL)0
que se identifica con el sistema (SL)0 anterior para N = M − A, ya que I − M −1 A = M −1 N .
Supondremos en lo que sigue la hipótesis
(H) aii 6= 0, i = 1, ..., n.
Haremos la siguiente descomposición por puntos de A
a11 a12 . . . a1n
a a22 . . . a2n
A=
21
=D−E−F
. . ... .
an1 an2 . . . ann
siendo
a11 0 . . . 0
0 a22 . . . 0
D=
. . ... .
0 0 . . . ann
0 0 ... 0 0 −a12 . . . −a1n
−a 0 ... 0 . . . −a2n
0 0
E = 21 , F =
. . ... . . . ... .
−an1 −an2 . . . 0 0 0 ... 0
32
Metodo de Jacobi por puntos
Se define tomando M = D. Luego el método es
½
u0 dado
uk+1 = (I − D−1 A)uk + D−1 b, ∀k ≥ 0
Se llamará matriz de Jacobi a
J = I − D−1 A
El método converge si y solo si ρ(J) < 1.
El cálculo efectivo se lleva a cabo del modo siguiente
D(uk+1 − uk ) = b − Auk
2. si = bi − si (s = b − s)
si
3. uk+1
i = uki +
aii
Parece razonable pensar que el método puede mejorar si se va “actualizando.el cálculo de uk+1
con las componentes ya obtenidas de este vector. Es decir, para obtener uk+1
i se pueden utilizar
k+1
las uj para cada j < i ya calculadas. Ası́ se usarán además solo n lugares de memoria puesto
que los uk+1
i van reemplazando a los valores de uki y ya queda el vector actualizado para el
cálculo de la componente siguiente. Sin embargo, este proceso ya es genuinamente secuencial
(no paralelo). Lo vemos seguidamente.
L1 = I − (D − E)−1 A
33
El método converge si y solo si ρ(L1 ) < 1.
El cálculo efectivo se lleva a cabo del modo siguiente.
(D − E)(uk+1 − uk ) = b − Auk (A = D − E − F )
D(uk+1 − uk ) = b − [−Euk+1 + Duk − F uk ]
uk+1 = uk + D−1 (b − [−Euk+1 + Duk − F uk ])
Ası́ pues,
1
uk+1
1 = uk1 + [b1 − (a11 uk1 + . . . + a1n ukn )]
a11
y una vez hallados uk+1
j para j < i, se determina
1
uk+1
i = uki + [bi − (ai1 uk+1
1 + . . . + ai,i−1 uk+1 k k
i−1 + ai,i ui + . . . + ain un )]
aii
Observación. En este método, además de necesitar menos memoria, se “invierte”más parte
de la matriz A que en el de Jacobi, por lo que es razonable pensar que será más rápido. Pero
hay ejemplos en que el método de Jacobi converge y el de Gauss-Seidel no.
34
1. El método de relajación para ω = 1 coincide con el de Gauss-Seidel. De ahı́ la notación
usada para la matriz de Gauss-Seidel.
2. Aunque en principio el parámetro ω podrı́a ser un número real no nulo cualquiera, se
probará (Teorema 3.5.1) que para que el método converja es necesario que ω ∈ (0, 2). El
método se llamará de sobrerelajación si ω ∈ (1, 2) y de subrelajación si ω ∈ (0, 1).
3. Se puede demostrar que ρ(Lω ) es una función continua de ω. Entonces, el estudio del
método consiste en
a) Determinar un intervalo I ⊂ IR \ {0}, tal que ∀ ω ∈ I, ρ(Lω ) < 1
b) Determinar ω0 ∈ I tal que
ρ(Lω0 ) ≈ ı́nf ρ(Lω )
ω∈I
4. Para ciertos valores del parámetro de relajación ω ≈ ω0 se obtiene una convergencia más
rápida que para ω = 1 y por tanto un tiempo de cálculo menor que para el método de
Gauss-Seidel, ya que el número de operaciones en cada etapa es similar en ambos métodos.
No obstante, hay que tener en cuenta el tiempo utilizado en la estimación preliminar del
parámetro ω0 para comparar la eficacia de ambos métodos.
−1 −1 −1
uk+1 = (I − DB A)uk + DB b, JB = I − DB A
35
Método de Gauss-Seidel por bloques
36
Matrices hermı́ticas definidas positivas
Lema 3.5.2 Sea A hermı́tica definida positiva. Entonces
2. En cualquier descomposición por bloques de A que tenga los bloques diagonales cuadrados,
éstos son también matrices hermı́ticas definidas positivas.
Por tanto para una matriz hermı́tica definida positiva, se verifica la hipótesis (H) y (HB ).
La primera condición suficiente de convergencia espara el método iterativo general
Teorema 3.5.3 (Householder) Sea A una matriz hermı́tica y definida positiva y M regular
tal que la matriz (hermı́tica) M ∗ + M − A sea definida positiva, entonces
ρ(I − M −1 A) < 1.
I n −→ IR+ ,
k · kA : C kvkA = (v ∗ Av)1/2
es una norma vectorial por ser A definida positiva (ver en problemas). La norma matricial
subordinada, verifica
= v0∗ Av0 − v0∗ Aw0 − w0∗ Av0 + w0∗ Aw0 = 1 − (v0∗ Aw0 + w0∗ Av0 − kw0 k2A )
Escribimos esta expresión solo en función de w0 . Para ello, hacemos
37
Teorema 3.5.4 (Criterio de Ostrowski-Reich) Si A es hermı́tica y definida positiva, en-
tonces el método de relajación por puntos o por bloques converge si 0 < ω < 2. En particular,
el método de Gauss-Seidel es convergente.
Demostración. Como se indicó en el Lema anterior, los métodos de relajación por puntos o
por bloques están bien definidos por verificarse las hipótesis (H) y (HB ). Se tiene entonces que
µ ¶
1
M= DB − EB =⇒
ω
µ ¶ µ ¶
1 ∗ 1 2−ω
M∗ + M − A = DB − EB∗ + DB − EB − (DB − EB − FB ) = DB
ω ω ω
porque al ser A hermı́tica se verifica
∗
DB = DB , EB = FB∗ , FB = EB∗
38
donde Ij es la matriz identidad del mismo orden que Bj . Entonces, puede comprobarse que
A(µ) = Q(µ)A(1)Q(µ)−1
de donde se obtiene el resultado.
39
Teorema 3.5.7 (Comparación de los métodos de Jacobi y relajación) Sea A tridiago-
nal por bloques y supongamos que sp (JB ) ⊂ IR. Entonces, el método de Jacobi por bloques y
el método de relajación por bloques para 0 < ω < 2 convergen o divergen simultáneamente.
Cuando convergen, la función ω ∈ (0, 2) 7−→ ρ(LB,ω ) es de la forma
2
con ω0 = q . De modo que el método es óptimo para ω0 siendo ρ(LB,ω0 ) = ω0 −1.
1+ 1 − ρ(JB )2
Demostración. Es similar a la del Teorema 3.5.6 pero con detalles más técnicos debido a la
mayor complejidad de la matriz de relajación. (cf. Ciarlet p. 107).
El siguiente teorema da una condición suficiente cómoda para que se verifiquen las hipótesis
del Teorema anterior y además ocurra la alternativa de convergencia.
Teorema 3.5.8 Sea A hermı́tica definida positiva y tridiagonal por bloques. Entonces, el méto-
do de Jacobi por bloques y el método de relajación por bloques para 0 < ω < 2 conver-
gen. La función ω ∈ (0, 2) 7−→ ρ(LB,ω ) es de la forma dada en el Teorema anterior con
2
ω0 = q . Ası́, si ρ(JB ) > 0, entonces
1 + 1 − ρ(JB )2
si ρ(JB ) = 0, entonces
ω0 = 1 y ρ(LB,1 ) = ρ(JB ) = 0
Demostración. Basta verificar que sp (JB ) ⊂ IR para aplicar el Teorema 3.5.7. En efecto, sea
α ∈ sp (JB ); entonces, existe un vector v 6= θ tal que
−1
(I − DB A)v = αv =⇒ Av = (1 − α)DB v =⇒ v ∗ Av = (1 − α)v ∗ DB v
Ya que A es hermı́tica definida positiva, sigue que también DB es hermı́tica definida positiva de
modo que v ∗ Av > 0 y v ∗ DB v > 0 al ser v 6= θ. De aquı́ se deduce que 1 − α > 0 y en particular
que α ∈ IR.
El Teorema 3.5.7 asegura que los métodos de relajación y Jacobi convergen o divergen
simultáneamente. Pero el método de relajación converge por el criterio de Ostrowski-Reich, de
modo que ambos convergen y se aplican los Teoremas 3.5.7 y 3.5.6.
Observación. En realidad cualquier matriz puede ser considerada tridiagonal por bloques.
Basta considerarla µ ¶
A11 A12
A=
A21 A22
40
3.6. Métodos de descenso y matrices simétricas definidas
positivas
Consideramos el problema de hallar la solución de
r(u) = b − Au = A(u − u)
En lo que sigue denotaremos (·, ·) el producto escalar euclı́deo en IRn . Consideremos la forma
cuadrática
Q : IRn −→ IR, Q(u) = (u, Au) − 2(u, b)
y también la aplicación (error)
α ∈ IR 7−→ v + αp ∈ IRn
41
donde v, p son dos vectores fijos no nulos cualesquiera de IRn . Se tiene por ser A simétrica
Q(v + αp) = (v + αp, A(v + αp)) − 2(v + αp, b)
= (v, Av) + α(v, Ap) + α(p, Av) + α2 (p, Ap) − 2(v, b) − 2α(p, b)
= Q(v) + 2α(p, Av) − 2α(p, b) + α2 (p, Ap)
= Q(v) + 2α(p, Av − b) + α2 (p, Ap)
Se obtiene una parábola en α de coeficiente principal positivo por ser A definida positiva. De
modo que tendrá un mı́nimo en α̂ que puede calcularse
d
Q(v + αp) = 2(p, Av − b) + 2α(p, Ap) = 0 =⇒
dα
(p, Av − b) (p, r(v))
α̂ = − =
(p, Ap) (p, Ap)
Por tanto, el valor mı́nimo de Q a lo largo de la recta es
Q(v + α̂p) = Q(v) + α̂[2(p, Av − b) + α̂(p, Ap)]
= Q(v) + α̂[2(p, Av − b) + (p, r(v))] = Q(v) − α̂(p, r(v))
(p, r(v))2
= Q(v) −
(p, Ap)
La expresión (p, r(v))2 es estrictamente mayor que cero, salvo en los casos en que r(v) = 0 (es
decir, v = u) o que p sea perpendicular a r(v); en todos los demás casos hay una disminución
estricta del valor de q al pasar de v a v + α̂p.
El Lema 3.6.3 sugiere un método indirecto para resolver Au = b.
Definición 3.6.4 Un método de descenso es un método indirecto que se construye eligiendo
en la k-ésima iteración una dirección pk 6= θ y un escalar αk de manera que
uk+1 = uk + αk pk y Q(uk+1 ) < Q(uk )
Según hemos visto, fijada la dirección pk y escogiendo la elección óptima para αk queda el método
de descenso con paso óptimo:
(rk , pk )
uk+1 = uk + pk
(Apk , pk )
donde hemos denotado rk = r(uk ).
Proposición 3.6.5 Para cualquier elección de pk 6= θ y para el correspondiente α̂k óptimo, se
verifica:
a) rk+1 = rk − α̂k Apk , ∀k ≥ 0
b) (pk , rk+1 ) = 0, ∀k ≥ 0
42
Algoritmo de los métodos de descenso (paso óptimo)
Inicialización: u0 ∈ IRn , p0 ∈ IRn , r0 = b − Au0
Etapa k + 1: Conocidos uk , pk y rk ∈ IRn , se calcula:
2. uk+1 = uk + α̂k pk
(pk , rk )2
E(uk+1 ) = E(uk ) − .
(pk , Apk )
(rk , pk )2
E(uk+1 ) = E(uk )(1 − γk ), con γk = (≥ 0)
(rk , A−1 rk )(Apk , pk )
43
de donde à !2
1 rk pk
γk ≥ , , ∀k ≥ 0
cond S (A) krk k2 kpk k2
y se deduce el Lema.
Teorema 3.6.7 Consideremos el método de descenso óptimo con las direcciones pk tales que
existe un número µ > 0 independiente de k que verifica
Entonces, se verifica que lı́m uk = u, es decir, la sucesión {uk } converge hacia la solución que
k→+∞
minimiza Q(u).
Nota. Este Teorema da una condición suficiente de convergencia, a saber, que pk no se haga
asintóticamente ortogonal a rk . Una posible elección evidente es escoger pk = rk . Es lo que se
hace en el método siguiente.
44
E(uk )
Además, puede probarse que el número de iteraciones necesarias para conseguir que ≤ε
µ ¶
E(u0 )
1 1
es del orden de k ≈ condS (A) ln ; es decir, el número de iteraciones es proporcional a
4 ε
condS (A).
Si condS (A) es grande, la convergencia es lenta (geométricamente, los elipsoides E(u) = cte
son muy achatados). Es lo que sucede en el caso de las matrices que proceden de un operador
diferencial cuyo número de condición suele aumentar al afinar la discretización (y aumentar la
dimensión de la matriz). En estos casos este método tiene poco interés práctico y se buscan
métodos más eficaces. La idea geométrica es intentar elegir pk que apunte hacia el centro de los
elipsoides.
b) (rk , rk+1 ) = 0, ∀k ≥ 0
krk+1 k22
c) βk+1 = , ∀k ≥ 0
krk k22
Demostración. a) Se tiene
(rk , pk )
(rk , rk+1 ) = (rk , rk ) − (rk , α̂k Apk ) = (rk , rk ) − (rk , Apk )
(Apk , pk )
à !
(rk , Apk ) (pk − rk , Apk ) βk (pk−1 , Apk )
= (rk , rk ) 1 − = (rk , rk ) = krk k22 =0
(Apk , pk ) (Apk , pk ) (Apk , pk )
45
Esta igualdad sale para k ≥ 1; para k = 0 resulta también de tomar p0 = r0 .
c) Vamos a pedir que (pk+1 , Apk ) = 0 para cada k ≥ 0. Ası́ se puede determinar βk+1 . En
efecto,
(Apk , rk+1 )
(Apk , pk+1 ) = 0 =⇒ (Apk , rk+1 + βk+1 pk ) = 0 =⇒ βk+1 = −
(Apk , pk )
Aplicando la Proposición 3.6.5 a) resulta
krk+1 k22
βk+1 = , ∀k ≥ 0
krk k22
rk ∈ hrk−1 , Apk−1 i
46
a) Hay que probar (rk+1 , pi ) = 0 para i = 0, ..., k. Se tiene
Para i = k, es la condición que se le exige al método de gradiente conjugado. Para i = 0, ..., k−1,
se tiene que el segundo sumando es 0 por la hipótesis de inducción, mientras que el primero es
también 0, porque
Api ∈ hp0 , ..., pi+1 i ⊂ hp0 , ..., pk i
y, por el apartado a), (rk+1 , pj ) = 0, j = 0, ..., k.
c) Hay que probar que (rk+1 , ri ) = 0, i = 0, ..., k. Se tiene
Par i = k es el Lema 3.6.8 b). Para i = 0, ..., k − 1, se tiene que el primer sumando es 0 por la
hipótesis de inducción, mientras que el segundo es tambén 0, porque
Demostración. Del Lema 3.6.9 c) sigue que los vectores distintos {p0 , p1 , ..., pj } son linealmente
independientes por ser ortogonales respecto del producto escalar v → (v, Av).
Al realizar el método de gradiente conjugado, puede suceder que
rk 6= θ para i = 1, ..., n − 1. Entonces {p0 , ..., pn−1 } son diferentes y por ser linealmente
independientes forman base de IRn . De modo que por el Lema 3.6.9 a), sigue que rn es
ortogonal a una base. Por tanto rn = θ y el método es exacto en la iteración n
En teorı́a, pues, el método de gradiente conjugado es un método directo, pero debido a los erro-
res de redondeo se conviente en un método indirecto. Se prueba que el número de iteraciones
E(uk ) 1 2q
necesarias para hacer que ≤ ε es del orden de log condS (A) + 1, es decir, el número
E(u0 )q 2 ε
de iteraciones es proporcional a condS (A), lo que disminuye el número de iteraciones con res-
pecto al método de gradiente que era proporcional a condS (A) (sobre todo cuando condS (A) es
grande). Sin embargo, el número puede seguir siendo excesivo si la matriz está mal condicionada
(es decir, si condS (A) es muy grande), en cuyo caso se acude a técnicas de precondicionamiento.
47
Capı́tulo 4
Aproximación de autovalores y
autovectores
4.1. Introducción
Nos preocupamos en este Tema de dar métodos que permitan aproximar valores propios
(autovalores) y vectores propios (autovectores) de una matriz. Es sabido que los autovalores de
una matriz A = (aij ) son las raices de la ecuación caracterı́stica
p(λ) = |A − λI| = 0
48
Para matrices simétricas se tiene el método de Jacobi y para matrices simétricas tridia-
gonales el método de Givens que permite el cálculo aproximado con una precisión arbitraria
de cada valor propio.
Para matrices no simétricas, hay también un método disponible que se apoya en una des-
composición factorial de la matriz llamada descomposición QR y que permite aplicar un método
parecido al de Jacobi.
Observación. Existe un método debido a Householder que reduce cualquier matriz simétri-
ca, A, a una matriz semejante simétrica y tridiagonal, P t AP , mediante una matriz de paso
ortogonal, P . De este manera, el método de Householder-Givens es aplicable a toda matriz
simétrica.
El marco natural de la aproximación de autovalores es el cuerpo CI . Por ello, supondremos
I n×n y particularizaremos los resultados obtenidos si A ∈ IRn×n
que A ∈ C
I n×n , entonces
Proposición 4.2.1 Sea A ∈ C
³ ´
∀ λ ∈ sp (A), |λ| ≤ mı́n{kAkF , kAkC } sp (A) ⊂ B(θ; mı́n{kAkF , kAkC }) .
Teorema 4.2.2 Sea A = (aij ) ∈ CI n×n estrictamente diagonal dominante por filas (o por co-
lumnas), entonces A es regular.
Demostración. Vemos el caso por filas (para el caso por columnas, basta razonar con At ).
I n \ {θ} tal que Ap = θ.
Por reducción al absurdo, supongamos A singular, entonces existe p ∈ C
Sea i0 tal que |pi0 | = ||p||∞ . Entonces
X X
|ai0 i0 | ||p||∞ = |ai0 i0 | |pi0 | ≤ |ai0 j | |pj | ≤ |ai0 j | ||p||∞
j6=i0 j6=i0
I n×n y denotemos
Corolario 4.2.3 (cı́rculos de Gerschgorin) Sea A = (aij ) ∈ C
n
X n
X
Pi = |aij |, Qj = |aij |
j=1 i=1
j6=i i6=j
Entonces
49
c) Toda unión de m cı́rculos (Ci o Dj ) que es disjunta con los restantes cı́rculos, contiene
exactamente m autovalores de A contando su multiplicidad (Teorema de Brauer).
50
Teorema 4.3.1 Sea A ∈ Mn diagonalizable y tal que sus autovalores verifican |λ| > |λ2 | ≥
|λ3 | ≥ ... ≥ |λm |. Sea u0 6∈ hv2 , ..., vm i y se construye la sucesión de términos no nulos uk+1 =
Auk , k ≥ 0. Entonces
I n −→ C
a) Para cualquier aplicación lineal φ : C I tal que φ(x) 6= 0 para cada x ∈ Vλ (A) \ {θ},
se verifica
φ(uk+1 )
lı́m =λ
k→+∞ φ(uk )
b) Existe el lı́mite
uk
lı́m=v
k→+∞ λk
I n −→ C
Nota. Las aplicaciones lineales φ : C I se pueden identificar con un vector a ∈ C I n como
P
φ(u) = (u, a) = i ui ai para cada u ∈ CI n . Por ejemplo, φi (u) = ui , i = 1, . . . , n.
m
X
I n . Sabemos que se puede escribir u0 = v +
Demostración. Sea u0 ∈ C αi vi . Entonces,
i=2
m
X m
X
uk = Ak u0 = Ak v + αi Ak vi = λk v + αi λki vi
i=2 i=2
Luego
m
à !k
X λi
uk = λk v + αi vi
i=2 λ
λi
Ya que | | < 1 para i = 2, ..., m, se tiene que
λ
m
à !k
X λi
εk = αi vi −→ θ si k → +∞
i=2 λ
y, por tanto, que
uk
= v + εk −→ v cuando k → +∞
λk
Esto prueba b).
Para probar a), tomamos φ en la expresión de uk ,
por ser φ lineal. Para k suficientemente grande, φ(uk ) es no nula porque el primer sumando es
no nulo (por hipótesis) y el segundo tiende a cero. De modo que
φ(uk+1 ) φ(v) + φ(εk+1 )
lı́m = λ · lı́m =λ
k→+∞ φ(uk ) k→+∞ φ(v) + φ(εk )
51
de donde ¯ ¯k ¯ ¯k
° ° m
X ¯λ ¯ ¯λ ¯
° uk ° ¯ i¯ ¯ 2¯
° − v ° ≤ |α | ¯ ¯ ||v || ≤ C ¯ ¯ .
° k ° i
¯λ¯ i
¯λ¯
λ i=2
También,
m
à !k+1
X λi
φ(v) + αi φ(vi ) " Ã !#
φ(uk+1 ) i=2 λ λ2
=λ· Ã !k = λ 1 + O | |k
φ(uk ) Xm
λi λ
φ(v) + αi φ(vi )
i=2 λ
λ2
Por tanto, la convergencia es más rápida cuanto menor sea | |.
λ
φ(uk+1 )
2) Si la aplicación φ se anula sobre Vλ (A), entonces el cociente tiene también un
φ(uk )
lı́mite que se puede calcular. En efecto, por la linealidad, se tiene
m
1 X
φ(εk ) = αi λi k φ(vi )
λk i=2
y, por tanto,
P
φ(uk+1 ) m
αi λi k+1 φ(vi )
= Pi=2
m k
φ(uk ) i=2 αi λi φ(vi )
Si, por ejemplo, el primer ı́ndice para el que αi φ(vi ) no se anula, corresponde a un autovalor
de módulo estrictamente superior al de los posteriores, entonces el lı́mite del cociente es ese
autovalor.
3) No obstante lo anterior, en la práctica, los errores de redondeo hacen que sea no nula φ
sobre Vλ (A) y que la sucesión converja hacia λ.
4) Una elección frecuente de φ en la literatura es φ(u) = ui , para algún i = 1, ..., n. Una vez
calculados los primeros vectores uk , se puede tomar φ(u) = ui para i una componente donde
los valores de uk en módulo sean grandes, con lo que es poco probable que esta φ se anule sobre
algún uk posterior.
5) Nótese que en general λk tiende a 0 o no está acotado; y, por tanto, teniendo en cuenta
la expresión de uk en función de λk , uk = λk (v + εk ), lo mismo le pasa a las componentes de
los vectores uk que se van obteniendo. Por ello conviene “normalizar” los vectores uk , de modo
que el proceso queda
u0
Se da u0 ; v0 = y u1 = Av0 .
ku0 k
En general,
uk
vk = y uk+1 = Avk .
kuk k
Se tiene,
Au0 u1 Au0
u1 = Av0 = ; v1 = =
ku0 k ku1 k kAu0 k
y en general
Ak u0 uk A k u0
uk = ; vk = =
kAk−1 u0 k kuk k kAk u0 k
52
De este modo es fácil comprobar
φ(uk+1 ) φ(Ak+1 u0 ) φ(v) + φ(εk+1 )
lı́m = lı́m = λ lı́m =λ
k→+∞ φ(vk ) k→+∞ φ(Ak u0 ) k→+∞ φ(v) + φ(εk )
Si λ > 0, λk = |λ|k y
v
lı́m vk = (autovector de A asociado a λ normalizado)
k→+∞ kvk
Si λ < 0, λk = (−1)k |λ|k y {vk } tiene dos puntos de acumulación; la subsucesión de los términos
v
pares tiende a kvk y la de los impares tiende a su opuesto (los dos son autovectores de λ).
Si λ no es real, λk = |λ|k exp(iϕ)k (|exp(iϕ)| = 1); en este caso, la sucesión no tiene lı́mite.
6) Para matrices simétricas la convergencia se acelera utilizando la sucesión de los cocientes
de Rayleigh de uk . Se procede ası́: dado u0 inicial, se toman
uk
vk = ; uk+1 = Avk
kuk k
à ! à !
u∗ Auk u∗k uk
RA (uk ) = k∗ = A = vk∗ uk+1
uk uk ||uk || ||uk ||
De las convergencias de las sucesiones anteriores se puede demostrar que
" Ã !#
λ2
RA (uk ) = λ 1 + O | |2k .
λ
¯ ¯2 ¯ ¯
¯λ ¯ ¯λ ¯
¯ 2¯ ¯ 2¯
Luego lı́mk→+∞ RA (uk ) = λ y la velocidad de convergencia aumenta al ser ¯¯ ¯¯ < ¯¯ ¯¯.
λ λ
53
Desarrollando |λI −Bi | por los elementos de la última fila, es fácil comprobar que los polinomios
caracterı́sticos pi (λ) de Bi verifican la siguiente relación de recurrencia
p0 (λ) = 1
(por convenio)
p1 (λ) = λ − b1
pi (λ) = (λ − bi )pi−1 (λ) − c2i−1 pi−2 (λ), 2≤i≤n
Teorema 4.4.1 Supongamos ci 6= 0 ∀ i. Los polinomios pi (λ) tienen las siguientes propiedades
1) lı́mλ→+∞ pi (λ) = +∞
½
+∞, si i es par
lı́m pi (λ) =
λ→−∞ −∞, si i es impar
Si pi (λ0 ) = 0, se verificará que pi+1 (λ0 ) = −c2i pi−1 (λ0 ). Si pi−1 (λ0 ) 6= 0, entonces ya está de-
mostrada la afirmación (porque c2i > 0). Si pi−1 (λ0 ) = 0, entonces aplicando escalonadamente
hacia atrás la fórmula recurrente, se obtendrı́a que pi (λ0 ) = pi−1 (λ0 ) = ... = p0 (λ0 ) = 0 lo que
es absurdo, pues p0 (λ0 ) = 1.
3) Hacemos la demostración por inducción sobre i.
(1) (1)
Para i = 1: p1 (λ) = λ − b1 tiene una única raı́z real λ1 = b1 . Teniendo en cuenta 2), p0 (λ1 ) ·
(1) (1)
p2 (λ1 ) < 0. Por tanto, p2 (λ1 ) < 0, lo que junto con el apartado 1) y el teorema de Bolzano
(2) (2)
justifica que existe dos raı́ces de p2 (λ): λ1 y λ2 que verifican
(2) (1) (2)
λ1 > λ1 > λ2 .
54
(k+1) (k+1)
Por otro lado, según 2), pk (λi ) · pk+2 (λi ) < 0 ∀ i, ası́ pues,
(k+1) (k+1)
pk+2 (λ1 ) < 0, pk+2 (λ2 ) > 0 ...
(k+2) (k+1)
Como lı́mλ→+∞ pk+2 (λ) = +∞, existirá una raı́z λ1 de pk+2 (λ) mayor que λ1 . Análoga-
(k+1) (k+1)
mente, en cada intervalo (λi+1 , λi ), i = 1, 2, ..., k+1 encontraremos una raı́z de pk+2 (λ). Por
(k+1)
último, si k es par, lı́mλ→−∞ pk+2 (λ) = +∞ y pk+2 (λk+1 ) < 0, si k es impar, lı́mλ→−∞ pk+2 (λ) =
(k+1) (k+2)
−∞ y pk+2 (λk+1 ) > 0. En cualquier caso, existirá una raı́z λk+2 de pk+2 (λ) que cumple
(k+2) (k+1)
λk+2 < λk+1 .
Una sucesión de polinomios que verifica las propiedades 1), 2) y 3) del Teorema 4.4.1 se llama
sucesión de Sturm. Estas sucesiones verifican la siguiente propiedad
Teorema 4.4.2 Dada una sucesión de Sturm {pi (λ)}, i = 1, ..., n y dado un número µ ∈ IR,
se denota ½
sgn pi (µ) si pi (µ) 6= 0
Sgn pi (µ) = i = 0, ..., n
sgn pi−1 (µ) si pi (µ) = 0
y denotemos por V (µ) el número de cambios de signo en la sucesión
Entonces, el número de raices del polinomio pn (λ) en el intervalo [a, b] es V (a) − V (b), supuesto
que pn (a)pn (b) 6= 0.
Demostración. Probaremos que para cualquier a ∈ IR, el número de raices de pn (λ) mayores
que a es V (a), de donde seguirá la conclusión del Teorema. La demostración se hace por
(i)
inducción sobre i. Denotaremos en este Teorema λj para j = 1, ..., i, las i raices del polinomio
pi (λ) en orden decreciente. Verificamos la inducción.
1. Para i = 1,
(1)
a) Si a < λ1 , la sucesión de signos es {+, −} y por tanto V (a) = 1.
(1)
b) Si a > λ1 , la sucesión de signos es {+, +} y por tanto V (a) = 0.
2. Cierto para i = k siendo m el número de raices del polinomio pk (λ) mayores que a, que
viene dado por el número de cambios de signo de la sucesión {Sgn p0 (a), ..., Sgn pk (a)}.
Sea i = k + 1. Resulta que
(k) (k) (k)
λk < ... < λm+1 ≤ a < λ(k)
m < ... < λ1
Hay que probar que el número de raices de pk+1 (λ) mayores que a es el número de cambios
de signo de la sucesión {Sgn p0 (a), ..., Sgn pk (a), Sgn pk+1 (a)}. Consideraremos para ello
tres casos posible
55
(k) (k+1)
a) a 6= λm+1 , λm+1 .
(k) (k+1)
Si λm+1 < a < λm+1 , el número de raices de pk+1 (λ) mayores que a es m+1, mientras
que el número de raices de pk (λ) mayores que a es m. Pero Sgn pk (a) = sgn (−1)m
y Sgn pk+1 (a) = sgn (−1)m+1 , de donde sigue el resultado.
(k+1)
Si λm+1 < a < λ(k)
m , entonces el número de raices de pk (λ) y de pk+1 (λ) mayores que
a es m. Y efectivamente, Sgn pk (a) = Sgn pk+1 (a) = sgn (−1)m .
(k+1)
b) a = λm+1 .
En este caso el número de raices de pk+1 (λ) y de pk (λ) mayores que a es m. Y por
definición, Sgn pk+1 (a) = Sgn pk (a).
(k)
c) a = λm+1 .
En este caso el número de raices de pk+1 (λ) mayores que a es m + 1 y el de pk (λ)
mayores que a es m. Pero por construcción, Sgn pk (a) = Sgn pk−1 (a) y es sabido que
Sgn pk+1 (a) 6= Sgn pk−1 (a) (usando el apartado 2 del Teorema anterior).
Nota. La anterior propiedad se verifica, evidentemente, para cada pi (λ), pero para calcular los
autovalores de B hay que aplicarlo a pn (λ).
Ası́ pues, con los resultados de la sección 4.2 pueden localizarse los autovalores (sabemos que
son reales y distintos). Con ayuda del resultado anterior, pueden separarse cada autovalor en
intervalos disjuntos. Entonces, para aproximar los autovalores, puede aplicarse un método de
dicotomı́a para seguir afinando los intervalos todo lo que se quiera o un método como el de
Newton . Nótese que la recurrencia sirve para evaluar el polinomio caracterı́stico en puntos
particulares sin necesidad de obtenerlo de forma genérica y también para evaluar las derivadas
necesarias para el método de Newton; ya que verifican la relación de recurrencia (derivada de
la anterior):
0
p0 (λ) = 0
p01 (λ) = 1
0
pi (λ) = pi−1 (λ) + (λ − bi )p0i−1 (λ) − c2i−1 p0i−2 (λ), 2≤i≤n
Se tienen resultados que prueban que en determinadas ocasiones las columnas de {Pk } convergen
a los autovectores de A.
Las matrices Pk se construyen como producto de matrices ortogonales elementales Qk . Se
toma P0 = I y, por tanto, A1 = A y a continuación
-) Se construye una matriz ortogonal Q1 y se pone
A2 = Qt1 A1 Q1 denotando P1 = Q1
56
t
-) Supuesta conocida la matriz Ak = Pk−1 APk−1 , se construye una matriz ortogonal Qk y
se pone
Entonces
µ ¸
π π
b) Si a(k)
6= 0, entonces existe un único θ̄ ∈ − ,
pq \ {0} tal que a(k+1)
pq = 0. En este caso,
4 4
se tiene que
2 2 2 2 2
(F ,3) a(k+1)
pp + a(k+1)
qq = a(k) (k) (k)
pp + aqq + 2apq
a(k) (k)
qq − app
a(k+1)
pq = 0 ⇐⇒ cot 2θ̄ = (k)
2apq
57
µ ¸
π π
Esta elección de θ̄ es siempre posible en − , \ {0} de forma única.
4 4
Puede observarse por otra parte que
à ! µ ¶ à (k) !µ ¶
a(k+1)
pp a(k+1)
pq cos θ −sen θ a pp a(k)
pq cos θ sen θ
=
a(k+1)
qp a(k+1)
qq sen θ cos θ a(k)
qp a(k)
qq −sen θ cos θ
de donde sigue (F.3) cuando θ = θ̄ por la invarianza de la norma euclı́dea ante transformaciones
unitarias.
n
X n
X
(k) 2 2 2 2 (k) 2 2
aii + a(k) (k) (k)
pp + aqq + 2apq = aii + 2a(k)
pq =⇒
i=1 i=1
i6=p,q
n
X n
X
(k+1) 2 (k) 2
aii > aii
i=1 i=1
de modo que con la adecuada elección de θ̄ se consigue que vayan decreciendo en valor absoluto
los números que están fuera de la diagonal (y aumentando los de la diagonal).
Es importante notar que los elementos de Ak+1 se pueden obtener a partir de relaciones
algebraicas sencillas de los de Ak . En efecto, denotemos
aqq − app
κ= = cot 2θ̄;
2apq
s = sen θ̄ = ct
58
resultando
sen 2θ̄ = 2cs, cos 2θ̄ = c2 − s2
Las fórmulas (F.1) se escriben
(k+1) (k)
aij = aij si i 6= p, q, j 6= p, q
(k+1) (k) (k)
apj = capj − saqj si j 6= p, q
a(k+1)
(k) (k)
= sapj + caqj si j 6= p, q
qj
(k+1)
a
pp = a(k) 2 (k) 2 (k)
pp cos θ̄ + aqq sen θ̄ − apq sen 2θ̄ =
a(k) (k) (k) 2 (k)
pp + (aqq − app )sen θ̄ − apq sen 2θ̄ =
a(k) (k) 2 (k)
pp + 2apq³κsen θ̄ − apq sen ´
2θ̄ =
1−t2 2 2
app + apq 2 2t c t − 2c t = a(k)
(k) (k) 2 (k)
pp − tapq
a(k+1) = a(k) (k)
qq qq + tapq , (analogamente)
a(k+1)
pq =0
Análogamente, para las matrices Pk , se deduce de la igualdad Pk+1 = Pk Qk+1 que
(k+1) (k)
pij = pij , si i 6= p, q, j = 1, ..., n
(k+1) (k) (k)
pip = cpip − spiq si i 6= p, i = 1, ..., n
(k+1) (k) (k)
piq = spip + cpiq si i = 1, ..., n
59
Convergencia del método de Jacobi clásico
Enunciamos los resultados de convergencia para el método de Jacobi clásico. Para evitar
situaciones triviales, suponemos que
(k)
máx |aij | > 0, ∀k ≥ 1
i6=j
Denotaremos por Pn el conjunto de las permutaciones de {1, 2, ..., n}. Se verifica entonces
60
Capı́tulo 5
5.1. Introducción
Sea D ⊂ IRn y sean f, g : D ⊂ IRn → IRn funciones continuas. Consideraremos en este tema
sistemas (algebraicos) no lineales, que escribimos en forma homogénea o en forma de punto fijo,
como:
f1 (x1 , ..., xn ) = 0
(SH) f (x) = θ ⇐⇒ · · · · ·
fn (x1 , ..., xn ) = 0
x1 = g1 (x1 , ..., xn )
(SP F ) x = g(x) ⇐⇒ · · · · ·
xn = gn (x1 , ..., xn )
Las definiciones de solución α, de método localmente convergente hacia α y de método
globalmente convergente en D hacia α son análogos a los del caso escalar.
Diremos que un método iterativo tiene orden de convergencia al menos p hacia la solución
α si es localmente convergente hacia α y
61
Teorema 5.2.1 (Convergencia global y estimación del error) Sea D ⊂ IRn cerrado y
g : D ⊂ IRn → IRn tal que
1. g(D) ⊂ D (D es g-invariante)
2. ∃ L ∈ (0, 1) : kg(x) − g(y)k ≤ Lkx − yk ∀ x, y ∈ D (g es L-contractiva en D)
Entonces:
1. Existe un único α ∈ D solución del (SPF).
2. El (MAS) es globalmente convergente hacia α (∀ x0 ∈ D, xk → α).
3. Se tienen las siguientes estimaciones de error: ∀ x0 ∈ D,
L
kxk − αk ≤ kxk − xk−1 k ∀ k ≥ 1 (a posteriori)
1−L
kxk − αk ≤ Lk kx0 − αk ∀ k ≥ 1 (a priori)
En particular, la convergencia es al menos lineal.
Tomando lı́mites en el (MAS) sigue que α = g(α), de modo que α es solución de la ecuación.
Además es la única solución posible porque si hubiera dos soluciones, α1 y α2 ,
lo que es absurdo.
Las estimaciones siguen de las anteriores desigualdades.
Nótese que la condición de contractividad depende de la norma que se elija. Para asegurar
que g es contractiva, suele ser útil la siguiente condición suficiente
Lema 5.2.2 Sea D ⊂ IRn convexo y compacto y sea g ∈ C 1 (D) (es decir, que existe un abierto
G tal que D ⊂ G y g ∈ C 1 (G)). Si
para alguna norma matricial kAk (que es consistente con alguna norma vectorial kuk), entonces
62
Nota. En particular,
µ ¶
0
kg(x) − g(y)k2 ≤ máx kg (x)k2 kx − yk2 ,
x∈D
µ ¶
0
kg(x) − g(y)k1 ≤ máx kg (x)kC kx − yk1 ,
x∈D
µ ¶
kg(x) − g(y)k∞ ≤ máx kg 0 (x)kF kx − yk∞ .
x∈D
Entonces, usando la regla de la cadena y el desarrollo hasta orden 1 de una función real con
resto integral,
Z 1 Z 1
gi (y) − gi (x) = hi (1) − hi (0) = h0i (s) ds = ∇gi (x + s(y − x)) · (y − x)
0 0
donde ∇gi = (∂xj gi )j=1,...,n (vector gradiente). Acotando la norma de la integral por la integral
de la norma y usando la consistencia de la norma matricial
Z 1
kgi (y) − gi (x)k ≤ k∇g(x + s(y − x))k ky − xk ds
0
Nota. El lema anterior también es cierto si D es convexo y kg 0 (x)k ≤ L < 1 para cada x ∈ D.
Teorema 5.2.3 (Convergencia local) Sea D ⊂ IRn y g : D ⊂ IRn → IRn tal que
1. ∃ α ∈ int(D) : α = g(α)
Demostración. Como kg 0 (α)k < 1 y las derivadas parciales son continuas, ∃ L ∈ (0, 1), ∃ ρ > 0:
kg 0 (x)k ≤ L ∀ x ∈ B(α, ρ). De acuerdo con el lema anterior, g es contractiva en B(α, ρ).
Para aplicar el Teorema 5.2.1 en B(α, ρ) basta probar que g(B) ⊂ B. En efecto, si x ∈ B ⇒
kx − αk ≤ ρ; entonces
Corolario 5.2.4 (Orden cuadrático) En las condiciones del teorema anterior, si suponemos
además, que g ∈ C2 (D) y g 0 (α) = θ, entonces se tiene convergencia al menos cuadrática.
63
Demostración. En efecto, si g ∈ C 2 (D) según el Teorema de Taylor podemos escribir en un
entorno de α
n
1 X ∂ 2 gi (ξ)
gi (x) − gi (α) = (xj − αj )(xk − αk ), i = 1, ..., n.
2 j,k=1 ∂xj ∂xk
se tendrá
M n2
|gi (x) − gi (α)| ≤ kx − αk2∞
2
Y por tanto
M n2
kxk+1 − αk∞ = kg(xk ) − g(α)k∞ ≤ kxk − αk2∞
2
consiguiéndose ası́ la convergencia al menos cuadrática.
(SH) f (x) = θ
Por razones análogas a las del caso escalar (se trataba de buscar un esquema de segundo orden),
(SH) se escribe como el sistema de punto fijo
que será equivalente al (SH) si la matriz jacobiana f 0 (x) es regular. El método de Newton es el
(MAS) asociado al anterior (SPF):
½
x0 ∈ IRn , dado
(M N )
xk+1 = xk − (f 0 (xk ))−1 f (xk ), ∀k ≥ 0
1. hallar la solución, δk , del sistema lineal f 0 (xk )δk = f (xk ) (de matriz f 0 (xk )),
2. hacer xk+1 = xk − δk .
Teorema 5.3.1 (Convergencia local del (MN)) Sea D ⊂ IRn y f : D ⊂ IRn → IRn tal que
Entonces, ∃ r > 0 tal que ∀ x0 ∈ B(α, r), el (MN) converge hacia α. Además, si f ∈ C 3 (B(α, r)),
entonces la convergencia es al menos cuadrática.
64
Demostración. Consideremos el método de Newton como un MAS para
(SP F ) x = g(x) con g(x) = x − (f 0 (x))−1 f (x)
Como f ∈ C 2 (D) y f 0 (α) es regular,
∃ρ > 0 : f 0 (x) es regular ∀ x ∈ B(α, ρ)
De modo que g ∈ C 1 (B(α, ρ)).
Si comprobamos que g 0 (α) = θ, aplicando el Teorema 5.2.3 obtendremos el resultado. De-
notemos
δ(x) = (f 0 (x))−1 f (x) ⇒ g(x) = x − δ(x)
Se verifica entonces
n
X ∂fi
f 0 (x)δ(x) = f (x) ⇐⇒ fi (x) = (x) · δj (x), i = 1, ..., n
j=1 ∂xj
Derivando esta expresión respecto de xk , resulta
n
à !
∂fi X ∂ 2 fi ∂fi ∂δj
(x) = (x)δj (x) + (x) (x) .
∂xk j=1 ∂xk ∂xj ∂xj ∂xk
Evaluando en x = α,
Xn
∂fi ∂fi ∂δj
(α) = (α) (α), i, k = 1, ..., n.
∂xk j=1 ∂xj ∂xk
Escritas estas igualdades en forma matricial, resultan
f 0 (α) = f 0 (α) · δ 0 (α) =⇒ δ 0 (α) = Id
De modo que
g 0 (α) = Id − δ 0 (α) = θ.
Si f ∈ C3 (B(α, ρ)), entonces g ∈ C2 (B(α, ρ)) y el Corolario 5.2.4 nos proporciona el resultado
de convergencia al menos cuadrática.
Desde el punto de vista numérico, el método de Newton es muy costoso porque en cada
etapa hay que resolver un sistema lineal con matrices diferentes. Por ello se introduce una
variante.
Variante de Whittaker
½
x0 dado
(M W )
xk+1 = xk − M −1 f (xk ), k≥0
siendo M una matriz fija. Ası́ en cada etapa hay que resolver el sistema lineal
M δk = f (xk ) (y xk+1 = xk − δk )
lo que permite aplicar un mismo método directo (descomposición LU o Cholesky si M es
definida positiva) en todas las etapas. Se puede tomar por ejemplo, M = f 0 (x0 ).
La variante de Whittaker no tiene ya convergencia cuadrática.
Una posibilidad, en el caso de convergencia muy lenta, es actualizar la matriz M con f 0 (xk )
en algunas iteraciones.
65