Métodos iterativos

I.Gómez
Universidad de Zaragoza

1 Introducción
Muchos problemas de la Ciencia y la Ingenierı́a desembocan en un sistema de ecuaciones
lineales, bien de forma directa, como por ejemplo, en el cálculo de estructuras, el análisis
de circuitos eléctricos o el estudio de la elasticidad de los materiales, o de forma indirecta
como resultado, por ejemplo, de la discretización de ecuaciones diferenciales ordinarias o
en derivadas parciales.
Por tanto, es de gran interés disponer de métodos eficientes para la resolución numérica
de sistemas. Existen dos grandes familias de métodos: directos e iterativos.

• Métodos Directos: Con ellos, en un número finito de operaciones (del orden de

O(n3 )) se obtiene la solución exacta sin errores salvo los introducidos por la arit-
mética finita de los ordenadores. Esta es una propiedad muy deseable, pero para
sistemas de alta dimensión los requisitos de este tipo de métodos en cuanto a número
de operaciones y almacenamiento en memoria pueden ser prohibitivos.
El orden de magnitud de la dimensión n a partir de la cual los métodos directos son
en la práctica poco recomendables ha ido variando conforme se han mejorado las
prestaciones de los ordenadores. A continuación indicamos la dimensión máxima a
partir de la cual se consideraba en ciertos momentos de la historia un sistema grande
como para no poder ser resuelto mediante métodos directos. También destacamos
algunos eventos importantes en el desarrollo del álgebra lineal numérica.
1950 n = 20 Trabajos de Wilkinson
1965 n = 200 Trabajos de Forsythe y Moler
1980 n = 2000 Desarrollo del software LINPACK
1995 n = 20000 Desarrollo del software LAPACK
Afortunadamente, con frecuencia cuando aparecen matrices de dimensiones muy
grandes, estas suelen ser matrices huecas o sparse, lo que facilita la resolución de los
sistemas asociados. Una posibilidad para resolver sistemas de grandes dimensiones
es utilizar los llamados métodos iterativos.

• Métodos Iterativos: Un método iterativo para la resolución de un sistema lineal

Ax = b pretende la obtención de una sucesión de vectores x(k) , k = 0, 1, . . . de
manera que cuando k tiende a infinito el elemento de la sucesión x(k) tienda a la
solución x del sistema. La sucesión se obtiene partiendo de un vector inicial x(0) y se
van obteniendo los demás reiteradamente mediante una expresión x(k+1) = g(x(k) ).

1
2 Normas matriciales
Definición 1 Sea V un espacio vectorial real. Una aplicación

k · k : V → IR

es una norma en V si cumple:

1. kvk ≥ 0, ∀ v ∈ V.

2. kvk = 0 ⇔ v = 0.

3. kαvk = |α|kvk, ∀ α ∈ IR, v ∈ V.

4. ku + vk ≤ kuk + kvk, ∀ u, v ∈ V.

Las normas más utilizadas en IR n son:

v
n u n
X uX
kvk1 = |vi |, kvk2 = t |vi |2 , kvk∞ = max |vi |.
1≤i≤n
i=1 i=1

Ejercicio 1 Halla kvk1 , kvk2 , y kvk∞ , para cada uno de los vectores

i) v = (3, −4, 0, 3/2)T ii) v = (2, 1, −3, 4)T iii) v = (sin k, cos k, 2k )T , k ∈ IN.

Dados dos vectores u = (u1 , . . . , un )T y v = (v1 , . . . , vn )T de IR n y una norma, se puede

hablar de la distancia asociada a la norma entre u y v como d(u, v) = ||u−v||, ∀u, v ∈ IR n .
El concepto de distancia en IR n puede utilizarse para definir el lı́mite de una sucesión
de vectores en este espacio.

n
Definición 2 Una sucesión de vectores {v (k) }∞k=1 de IR se dice que converge a v en el
sentido de la norma || · ||, si ∀ε > 0 ∃N (ε) ∈ IN tal que ||v (k) − v|| < ε ∀k ≥ N (ε).

Se puede demostrar que todas las normas sobre IR n son equivalentes con respecto a la
convergencia y que existen desigualdades que las relacionan.

2
Definición 3 Una norma matricial es una aplicación

k · k : Mn (IR) → IR

que cumple:

1. kAk ≥ 0, ∀ A ∈ Mn (IR).

2. kAk = 0 ⇔ A = 0.

3. kαAk = |α|kAk, ∀ α ∈ IR, A ∈ Mn (IR).

4. kA + Bk ≤ kAk + kBk, ∀ A, B ∈ Mn (IR).

5. kABk ≤ kAkkBk, ∀ A, B ∈ Mn (IR).

Observación La distancia entre dos matrices cuadradas puede definirse como kA − Bk.

Proposición 1 Sea k · k una norma en IR n . La aplicación

k · k : Mn (IR) → IR

dada por
kAvk
kAk = sup = sup kAvk, (1)
v6=0,v∈IR n kvk kvk=1

es una norma matricial.

Definición 4 La norma matricial definida en (1) se denomina norma matricial su-

bordinada a la norma vectorial k.k.

Proposición 2 Sea k.k una norma matricial subordinada a una norma vectorial en IR n .
Entonces
kAvk ≤ kAk . kvk, ∀v ∈ IR n

A menudo utilizaremos las siguientes normas matriciales subordinadas:

kAvk1 kAvk2 kAvk∞

kAk1 = sup , kAk2 = sup , kAk∞ = sup .
v6=0 kvk1 v6=0 kvk2 v6=0 kvk∞

Definición 5 Sea B ∈ Mn (IR), λ1 , ..., λn ∈ C las raı́ces de su polinomio caracterı́stico

det(B − λI). Se llama radio espectral de B a

ρ(B) = max |λj |

1≤j≤n

3
Teorema 1 Sea A ∈ Mn (IR).

n
X
1. kAk1 = max |aij |,
1≤j≤n
i=1

n
X
2. kAk∞ = max |aij |,
1≤i≤n
j=1
q
3. kAk2 = ρ(AT A)

Observación Como consecuencia de los apartados 1) y 2) del teorema 1 tenemos:

kAT k1 = kAk∞ , kAT k2 = kAk2 .

Ejercicio 2

1. Halla kAk1 , kAk2 , y kAk∞ , cuando

 
à ! 2 0 0
2 1
i) A = ii) A = 
 0 2 2 

−2 3
0 −1 1

2. Halla kAk1 , y kAk∞ , para las siguientes matrices

   
à ! à ! 2 −1 0 4 −1 7
10 15 10 0    
i) ii) iii)  −1 2 −1  iv)  −1 4 0 
0 1 15 1
0 −1 2 −7 0 4

3 Métodos Iterativos

3.1 Generalidades
Sea A ∈ Mn (IR) una matriz regular y queremos resolver el sistema

Ax = b (2)

con b ∈ IR n .
Observación Si A = M − N con M, N ∈ Mn (IR), M regular se tiene:

Ax = b ⇔ M x = N x + b ⇔ x = M −1 N x + M −1 b

Asociado a la descomposición A = M − N tenemos el siguiente método iterativo:

¯
¯ Dado x(0) ∈ IR n calcular
¯
¯ (k+1) (3)
¯ x = M −1 N x(k) + M −1 b k = 0, 1, 2, ...
La matriz M −1 N se denomina matriz de iteración del método.

4
Definición 6 El método iterativo (3) es convergente si

lim kx(k) − xk = 0
k→∞

para cualquier vector inicial x(0) ∈ IR n .

Teorema 2 El método iterativo (3) es convergente ⇔ ρ(M −1 N ) < 1

La convergencia será tanto más rápida cuanto más pequeño sea ρ(M −1 N ). Por otra
parte, si existe una norma matricial tal que kM −1 N k < 1, entonces el método iterativo
es convergente.

Dada A ∈ Mn (IR) definimos las matrices D, E y F

• D matriz diagonal: di,i = ai,i .

• E matriz triangular inferior con ceros en la diagonal y ei,j = −ai,j si 1 ≤ j < i ≤ n.

• F matriz triangular superior con ceros en la diagonal y fi,j = −ai,j si 1 ≤ i < j ≤ n.

Es decir, si la matriz de los coeficientes es

 
a11 a12 · · · a1n

 a21 a22 · · · a2n 

A=
 .. .. .. .. 
 . . . .  
an1 an2 · · · ann

consideraremos la descomposición A = D − E − F , donde

     
a11 0 0 ··· 0 0 −a12 · · · −a1n
     
 a22   −a21 0 ··· 0   0 0 · · · −a2n 
D=
 .. , E = 
  .. .. .. .. , F = 
  .. .. .. .. 

 .   . . . .   . . . . 
ann −an1 −an2 · · · 0 0 0 ··· 0

Si ai,i 6= 0 , i = 1, ..., n entonces las matrices D y D − E son regulares. Eligiendo

M = D o M = D − E obtenemos los métodos de Jacobi y Gauss-Seidel respectivamente.

5
3.2 Método de Jacobi
El método de Jacobi consiste en tomar M = D y N = E + F . Matricialmente, el método
se puede escribir:
¯
¯ Dado x(0) ∈ IR n calcular para k = 0, 1, 2, 3, ...
¯
¯
¯ Dx(k+1) = (E + F )x(k) + b
(4)

O en términos de sus componentes:

¯
¯ Dado x(0) ∈ IR n calcular para k = 0, 1, 2, 3, ...
¯  
¯ n
¯ (k+1) 1 X (k) (5)
¯ x = bi − aij xj  i = 1, 2, ..., n
¯ i
¯ aii j=1,j6=i

Definición 7 La matriz BJ = D−1 (E + F ) se llama matriz de Jacobi.

3.3 Método de Gauss-Seidel

El método de Gauss-Seidel consiste en tomar M = D − E y N = F . Matricialmente, el
método se puede escribir:
¯
¯ Dado x(0) ∈ IR n calcular para k = 0, 1, 2, 3, ...
¯
¯ (6)
¯ (D − E)x(k+1) = F x(k) + b

Definición 8 La matriz BG−S = (D − E)−1 F se llama matriz de Gauss-Seidel.

El método de Gauss-Seidel componente a componente, se puede escribir:

¯
¯ Dado x(0) ∈ IR n calcular para k = 0, 1, 2, 3, ...
¯  
¯
¯ (k+1) 1 X (k+1) X (k) (7)
¯ x = bi − ai,j xj − ai,j xj  i = 1, 2, ..., n
¯ i
¯ ai,i j<i j>i

Teorema 3 Si A es una matriz simétrica y definida positiva, entonces el método de

Gauss-Seidel es convergente.

Definición 9 Una matriz A = (aij )ni,j=1 es estrictamente diagonal dominante si verifica

para i = 1, 2, . . . , n
n
X
|aii | > |aij |
j6=i

Teorema 4 Si la matriz A es estrictamente diagonal dominante los métodos de Jacobi y

Gauss–Seidel son ambos convergentes.

Teorema 5 Si A es tridiagonal, ρ(BG−S ) = ρ(BJ )2 , de manera que los dos métodos

convergen o divergen simultáneamente. Cuando convergen, el método de Gauss-Seidel lo
hace más rápidamente.

6
3.4 Método de Relajación
1 1−ω
El método de relajación, consiste en tomar M = D − E y N = D + F con ω 6= 0 .
ω ω
Matricialmente, el método se puede escribir:
¯
¯ Dado x(0) ∈ IR n calcular para k = 0, 1, 2, 3, ...
¯ µ ¶ µ ¶
¯ 1 1−ω (8)
¯ D−E x (k+1)
= D + F x(k) + b
¯
ω ω
µ ¶−1 µ ¶
1 1−ω
Definición 10 La matriz Bω = D−E D+F se llama matriz de rela-
ω ω
jación.

El método de relajación componente a componente, se puede escribir:

¯
¯ Dado x(0) ∈ IR n calcular para k = 0, 1, 2, 3, ...
¯  
¯
¯ (k+1) ω X (k+1) X (k) (k) (9)
¯ x = bi − ai,j xj − ai,j xj  + (1 − ω)xi i = 1, 2, ..., n
¯ i
¯ ai,i j<i j>i

o bien
(k+1) (k)
xi = ωx̃k+1
i + (1 − ω)xi
con  
(k+1) 1  X (k+1) X (k)
x̃i = bi − ai,j xj − ai,j xj  i = 1, 2, ..., n
ai,i j<i j>i

es decir, cada componente de la iteración (k + 1)−ésima se obtiene como cierto promedio

entre la solución del método de Gauss-Seidel y la solución de la iteración anterior.

Teorema 6 Si A es simétrica y definida positiva, entonces el método de relajación con-

verge si y sólo si 0 < ω < 2 .

Notar que cuando ω = 1 el metodo coincide con el de Gauss-Seidel. Para 0 < ω < 1, los
procedimientos se llaman métodos de sub-relajación y se pueden emplear para obtener la
convergencia de algunos sistemas que no son convergentes por el método de Gauss-Seidel.
Para 1 < ω < 2 los procedimientos se llaman métodos de sobre-relajación y se pueden
usar para acelerar la convergencia de sistemas que son convergentes por el método de
Gauss-Seidel. Estos métodos se abrevian frecuentemente como SOR (de Successive Over-
Relaxation) y son particularmente útiles para resolver los sistemas lineales que aparecen
en la solución numérica de ciertas ecuaciones diferenciales en derivadas parciales.

7
Ejercicio 3 Indica si las siguientes matrices son estrictamente diagonal dominantes
   
7 2 0 6 4 −3
   
A =  3 5 −1  B =  4 −2 0 
0 5 −6 −3 0 1

Ejercicio 4 .

1. Resuelve los siguientes sistemas de ecuaciones con los métodos de Jacobi y Gauss–
Seidel utilizando los valores iniciales dados. Si realizas los cálculos a mano, trabaja
con dos decimales y realiza 4 iteraciones.
 

 6x + 2y − z = 4 
 4x + y − z = 8

 x + 5y + z = 3 
 5y + 2z = 6
i. ii.


 2x + y + 4z = 27 

 x − y + 4z = 10
 (0)  (0)
x = y (0) = z (0) = 1 x = 1, y (0) = 2, z (0) = 3
 
 5x − y + z = 20

  5x − y + 2z = 40


 2x + 4y = 30  2x + 4y − z = 10
iii.  iv. 

 x − y + 4z = 10 
 −2x + 2y + 10z = 40
 (0)  (0)
x = y (0) = z (0) = 0 x = 20, y (0) = 30, z (0) = −40

2. Aplica el método de Gauss–Seidel al siguiente sistema de ecuaciones



 5x + 4y − z = 8

 x−y+z =4
 2x + y + 2z = 1


 (0)
x = y (0) = z (0) = 0

y comprueba que el método no converge (no lleva a una solución).