METODOS NUMERICOS

MB536
SOLUCION DE SISTEMAS
LINEALES

Mtodos Iterativos
EE-443
Computational Methods for Electrical Engineering
Professor: SencerKoc, Ph.D
Traducido por: Rosa Garrido Jurez, Mg. Ing

Metodos de Solucin Iterativos

Empezar con una aproximacin inicial

para el vector solucin (x0)

Actualizar en cada iteracin el vector x

usando el sistema Ax=b

Cada iteracin involucra el producto

matriz-vector.

Si A es esparcida este producto es

realizado eficientemente.
2

Procedmiento de solucin
Iterativa
Escribir el sistema Ax=b en una forma equivalente

x=Tx+c (como x=g(x) para iteracin del punto

fijo)
Empezando con x0, genere una secuencia de
aproximaciones {xk} iterativamente por
xk+1=Txk+c
Representacin de T y c dependen del tipo de
mtodo usado.
Pero para cada mtodo T y c son obtenidas a parir de
A y b, pero en forma diferente.
3

Convergencia

Cuando k, la secuencia {xk} converge a un

vector solucin bajo algunas condiciones en la
Matriz T.
Esto impone condiciones diferentes en la matriz A
para diferentes mtodos.
Para la misma matriz A, un mtodo puede converger
mientras que otro puede divergir.
Por lo tanto para cada mtodo la relacin entre A y T
deben ser encontradas para decidir la convergencia.

Diferentes metodos Iterativos

Iteracin de Jacobi
Iteracin de Gauss-Seidel
Successive Over Relaxation (S.O.R)
SOR es un mtodo usado para acelerar la
convergencia.
La iteracin de Gauss-Seidel es un caso especial
del mtodo SOR.

Iteracin de Jacobi
a11 x1 a12 x2 a1n xn b1
a21 x1 a22 x2 a2 n xn b2

an1 x1 an 2 x2 ann xn bn

x0

x10
0
x2

0
xn

1
1
(b1 a12 x20 a1n xn0 )
k 1
xi bi
a11
aii
1
x12
(b2 a21 x10 a23 x30 a2 n xn0 )
a22
1
x1n
(bn an1 x10 an 2 x20 ann 1 xn01 )
ann
x11

i 1

a x
j 1

ij

k
j

a x

j i 1

ij

k
j

Mtodo de Jacobi. Forma Matricial

Descomponiendo A = D - L - U. U=D-triu(A)
-U
D

-L

L= D -tril(A)

D=diag(diag(A))

xk+1=Txk+c - iteracin por el mtodo de

Jacobi
Se puede escribir como A=D-L-U (No es una
factorizacin)

0 0 a11 0
0 0 a12 a13
a11 a12 a13 0
a
a
0 a
0 0 a
a
a
0
0
0
22
23
21 22 23 21


a31 a32 a33 a31 a32 0 0
0 a33 0 0
0

Ax=b (D-L-U)x=b
1
k 1
xi
aii
Dxk+1

i 1

k
b

a
x
i ij j
j 1

Lx

a x

j i 1

ij

Ux

Dxk+1 = (L+U)xk+b

k
j

xk+1=D-1(L+U)xk+D1
b
T=D-1(L+U)
c=D-1b

iteracin Gauss-Seidel (GS)

Use lo ltimo
al actualizar

a11 x1 a12 x2 a1n xn b1

a21 x1 a22 x2 a2 n xn b2

an1 x1 an 2 x2 ann xn bn

1
1
(b1 a12 x20 a1n xn0 )
k 1
xi bi
a11
aii
1
1
1
0
0
x2
(b2 a21 x1 a23 x3 a2 n xn )
a22
1
x1n
(bn an1 x11 an 2 x12 ann 1 x1n 1 )
ann
x11

x0

i 1

a x
j 1

ij

k 1
j

x10
0
x2

0
xn

a x

j i 1

ij

k
j

x(k+1)=Tx(k)+x iteracin de GaussSeidel

Ax=b (D-L-U)x=b
k 1
i

Dx

aii
k+1

i 1

bi aij x
j 1

Lx k1

k 1
j

a x

j i 1

ij

k
j

(D-L)xk+1 =Uxk+b

Uxk

xk+1=(D-L)-1Uxk+(D-L)-1b
Tgs=(D-L)-1U
cgs=(D-L)-1b
10

Comparacin

teracin
de
Gauss-Seidel
converge
ms
rpidamente que la iteracin de Jacobi desde que
este usa la ltima actualizacin.

Pero existen algunos casos que la iteracin de

Jacobi converge pero Gauss-Seidel no.

El mtodo de sobre relajacin sucesiva es usada para

acelerar la convergencia del mtodo de GaussSeidel.
11

Convergencia de los mtodos

iterativos
Define el vector solucin como
Define el vector error como
k

e x x

x
ek

x e x
k

Substituye esto en

x k 1 Tx k c
e k 1 x T (e k x ) c Tx c Te k
e k 1 Te k TTe k 1 TTTe k 2 T ( k 1) e 0
12

Convergencia de los Mtodos

Iterativos
iteracin

e T e T
k

(k ) 0

(k )

potencia

El mtodo iterativo convergera para cualquier vector

inicial arbitrario si la siguiente condicin es satisfecha
Condicin de Convergencia
k

Lim e 0 si Lim T
k

(k )

0
13

Condicin de Convergencia
lim e

k 1

0 si lim T

( k 1)

Expresar T en terminos de matriz modal P y

: Matriz Diagonal con valores propios de T en la diagonal

T P P
T

( k 1)

( k 1)

1k 1

1
1

P P P P P P
( k 1)

k2 1

k 1

kn 1

lim T ( k 1) 0 lim P( k 1) P 1 0 lim ( k 1) 0

k

lim ki 1 0 i 1 for i 1,2,...,n

k

14

Condicin Suficiente para

Si convergencia
la magnitud de todos los valores propios de la
Matriz de iteracin T es menor que 1 entonces la
iteracin es convergente.
Los valores propios son mas fcil de calcular que
la norma de una matriz

Tx x
Tx x
x T x T (T ) T
Tx T x

(T ) 1 condicin suficiente para convergenc

15

Convergencia de la iteracin de
Jacobi
-1
T=D (L+U)

a21
a22
T

an1
a
nn

a12

a11
0

a23

a22

ann 1

ann

a1n

a11

a2 n

a22

an 1n

an 1n 1
0

16

Convergencia de la iteracin de
Jacobi

Evaluar la norma infinita (suma maxima fila) de T

T

1
j 1
i j

aij
aii

1 for i 1,2,..., n

aii aij

Matriz
j 1
Diagonalmente
i j
Dominante
Si A es una matriz diagonalmente dominante,
entonces la iteracin de Jacobi converge para
cualquier valor inicial

17

Criterios de Parada

Ax=b

En cualquier iteracin k, el trmino residual es

rk=b-Axk

Verificar la norma del trmino residual

||b-Axk||

Si esto es menor que la cota del valor de parada

18

Ejemplo 1 (Iteracin de Jacobi)

4 1 1 x1 7
4 8 1 x 21

2 1 5 x3 15

0
x 0 0
0

b Ax 0

26.7395

Matriz Diagonalmente dominante

7
7 x20 x30
1.75
x
4
4
0
0
21
21

4
x

x
1
1
3
2.625
x2
8
8
0
0
15
15

2
x

x
1
1
2
3.0
x3
5
5
1
1

b Ax1 10.0452
2

19

Ejemplo 1 continuacin...
7 x12 x31
7 2.625 3
x

1.65625
4
4
21 4 x11 x31 21 4 1.75 3
2
x2

3.875
8
8
15 2 x11 x12 15 2 1.75 2.625
2

4.225
x3
5
5
2
1

7 3.875 4.225
1.6625
4
21 4 1.65625 4.225
x23
3.98125
8
15 2 1.65625 3.875
x33
2.8875
5

b Ax 2

6.7413

x13

b Ax 2

1.9534

Matriz es diagonalmente dominante, iteraciones de Jacobi

son convergentes.
20

Ejemplo 2
2 1 5 x1 15
4 8 1 x 21

4 1 1 x3 7

0
x 0 0
0

b Ax 0

26.7395

La matriz no es diagonalmente dominante

15 x20 5 x30 15
x

7.5
2
2
21 4 x10 x30
21
1
x2
2.625
8
8
x31 7 4 x10 x20
7.0
1
1

b Ax1 54.8546
2

21

Ejemplo 2 (continuacin...)
15 2.625 5 7
11.3125
2
21 4 7.5 7
x12
0.25
8
x31 7 4 7.5 2.625 39.625
x11

b Ax 2

208.3761

El trmino del residual aumenta en cada iteracin, de

tal forma que las iteraciones divergen.
Note que la matriz no es diagonalmente dominante

22

Convergencia de la iteracin de
Gauss-Seidel

Iteracin GS converge para cualquier vector inicial

si A es una matriz diagonalmente dominante

Iteracin GS converge para cualquier vector inicial

si A es una matriz simtrica y definida positiva La
matriz A es definida positiva si
xTAx>0 para cualquier vector x no nulo.

23

Ejemplo1 (Iteracin de GaussSeidel)

4 1 1 x 7
0
1

4 8 1 x 21

2 1 5 x3 15

x 0 0
0

b Ax 0

26.7395

Matriz Diagonalmente dominante

7
7 x20 x30

1.75
x
4
4
21 4 x11 x30 21 4 1.75
1

3.5
x2
8
8
15 2 x11 x12 15 2 1.75 3.5
1

3.0
x3
5
5
1
1

b Ax1 3.0414
2

b Ax1 10.0452
2

teracin de
Jacobi

24

Ejemplo 1 continuacin...
7 3.5 3
7 x12 x31
x

1.875
4
4
21 4 x12 x31 21 4 1.875 3
2
x2

3.9375
8
8
15 2 x12 x22 15 2 1.875 3.9375
2

2.9625
x3
5
5
2
1

b Ax 2
b Ax 2

0.4765
6.7413

Iteracin de Jacobi

Cuando ambos mtodos de Jacobi y Gauss-Seidel

convergen, Gauss-Seidel converge ms rpido.

25

Convergencia del mtodo SOR

Si 0<<2, mtodo SOR converge para cualquier

valor inicial si A es una matriz simtrica y definida
positiva.
Si >2, mtodo SOR diverge
Si 0<<1, SOR mtodo converge pera la velocidad
de convergencia es mas lenta que el mtodo de
Gauss-Seidel.
26

Conteo de operaciones

El # de operaciones para la Eliminacin gaussiana o la

descomposicin LU es de 0 (n3), orden de n3
Para los mtodos iterativos, el nmero de multiplicaciones
escalares es 0 (n2) en cada iteracin.
Si el nmero total de las iteraciones requeridas para la
convergencia es mucho menos que n, entonces los mtodos
iterativos son ms eficiente que mtodos directos.
Los Mtodos iterativos tambin se satisfacen bien para las
matrices esparcidas.

27

Formas Matriciales. Resumen

La solucin del sistema A x = b se obtiene mediante la
siguiente expresin recursiva:
x ( k ) = Tx ( k-1 ) + c
Mtodo
Jacobi
Gauss-Seidel
SOR

A= D - L - U
T

D-1 (L+U)

D-1 b

( D -L)-1 U

( D -L)-1 b

(D- L)-1 [(1- ) D +

U]

(D- L)-1 b

28

ANEXO

29

Norma de un vector
La norma de un vector debe satisfacer estas
condiciones:
x 0 Para cualquier vector no nulo x

x 0 si y solo si x es un vector nulo

x x

Para un escalar

x y x y
La norma de un Vector pueden ser definidas en diferentes
formas, y deben satisfacer estas condiciones.
30

Normas de vectores Comunmente

usadas
norma Suma o norma 1

x 1 x1 x2 xn
norma Euclideana norma
2

x 2 x12 x22 xn2

norma Maxima o norma

max i xi
31

Norma de una matriz

La norma de una matriz debe satisfacer estas cond.

A 0
A 0 si y solo si A es una matriz nula
A A

para escalar

A B A B
Importante identidad

Ax A x

x es un vector
32

Normas de matrices mas usadas

Norma Maxima suma_col- o norma 1
m

A 1 max aij
1 j n

i 1

Norma Espectral o norma 2

A 2 maximo valor propio de A A

T

Norma Maxima suma_fil- o norma

n

A max aij
1i m

j 1

33

Ejemplo

Calcule las normas 1 y de la matriz

3 9 5
7 2 4

6 8 1

17 A
13
15

16 19 10
A1
34

Matrices Definidas Positivas

Una matriz es definida positiva si todos sus valores

propios son positivos

Una matriz simtrica diagonalmente dominante con

diagonal con entradas a la diagonal positiva es definida
positiva.

Si una matriz es definida positiva

Todas las entradas a la diagonal son positivas

El elemento mas grande (en magnitud) de la matriz

completa debe estar en la diagonal.
35

Verificar la definicin de positiva

20 12 25
12 15 2

25 2 5
5
20 12
12 15 2

5
2 25

20 12 5
12 15 2

5 2 25

No es definida positiva
El elemento mas grande no esta en la
diagonal principal
No es definida positiva
Todas las entradas a la diagonal no
son positivas
Definida positiva
Simtrica, diagonalmente dominante,
todas las entradas a la diagonal son
positivas.

36

Verificar la definicin de positiva

20 12 5
12 15 2

8 2 25

No simetra

La decisin no puede ser correcta por investigacin de

la matriz.
La matriz es diagonalmente dominante y todas las
entradas a la diagonal son positivas pero no es
simtrica.
Para decidir, verificar si todos los valores propios son
37
positivos