Capitulo 2 Sistemas de Ecuaciones Lineales PDF

Universidad de Chile
Departamento de Ingeniería Matemática
Cálculo Numérico MA-33A

Métodos Numéricos
para Sistemas de
Ecuaciones Lineales
Gonzalo Hernández Oliva
GHO SEL - MA33A 1
MN para SEL: Temario
1) Motivación – Aplicaciones SEL:
a) Interpolación Polinomial
b) Mínimos Cuadrados
c) Método Simplex – Optimización Lineal
2) Definiciones y Resultados Básicos
3) Métodos de Pivoteo (Directos) para SEL:
Gauss y Gauss-Jordan
4) Análisis de Error del Método de Gauss
GHO SEL - MA33A 2
MN para SEL: Temario
5) Matriz Inversa y Determinante
6) Factorización de Matrices
7) Métodos Iterativos para SEL
a) Método de Jacobi y Gauss-Seidel
b) Método de Relajación SOR y Gradiente
Conjugado
c) Análisis de Error de los Métodos Iterativos
d) Métodos para Vectores y Valores Propios
GHO SEL - MA33A 3
MN para Sist. de Ecs. Lineales:
1) Motivación 1: Interpolación Polinomial
n Dados (n+1) puntos ( xi , yi )

yi = p ( xi ) = ∑ ak xi k Encontrar un polinomio de
k =0 grado n tal que:
p(xi ) = yi ∀i =1,..., n +1
yi x x
x p(x)
x x
x x x
x
xi
GHO SEL - MA33A 4
1) Motivación 1: Interpolación Polinomial
yi = p ( xi ) ∀i = 1,..., (n + 1)
n
yi = p ( xi ) = ∑ ak xi k
k =0
1 x1 x 21  x n1 a0 y1
1 x2 x 22  x n2 a1 y2
1 x3 x 23  x n3 a2  y3
      
1 x n1 x 2n1  x nn1 an y n1
GHO SEL - MA33A 5
1) Motivación 2: Mínimos Cuadrados
yk = β 0 + β1 xk
Nube de puntos Dados n puntos (xi , yi )
con tendencia Encontrar la recta que mejor
lineal los “representa”:
+
yi + + + ++ ++ + +
+ + +
+ + + ++ + + + + n
+ + + ++
+ + + ++ + + + + min ∑ [ yk − ( β 0 + β1 xk )]
2
++ ++ + + + β 0 , β1
k =1
xi
GHO SEL - MA33A 6
GHO SEL - MA33A 7

Sea f ∈ ζ [a, b] . Se quiere determinar un
polinomio pn ( x) de grado n según MCC:
b
bi + j +1 − a i + j +1
min ε T = ∫ [ f ( x) − pn ( x) ] dx
2
δ ij =
pn ( x )
a
i + j +1
ntes
c ie Matriz tipo Hilbert !
Ecuaciones Normales: co
e f i
b b b b b
 a x 0 dx  a x 1 dx  a x 2 dx   a x n dx a0
 a x 0 fxdx
b b b 3 b b
 a x dx  a x dx
1 2
 x dx  a x n1
dx a1  a x 1 fxdx
a 
      
b b b b an b
GHO  a x dx  a x dx  a x dx SEL -MA33A
n n1
a
n2
x dx 2n
 a x n fxdx 8
Sea f ( x) = sin(π x) . Determinemos p3 ( x)
polinomio de grado 3 según MC:
2
1 1/2 1/3 1/4 a0 2/ sin(pi*x) v/s -1/20+103/25x-103/25x
1
1/2 1/3 1/4 1/5 a1 1/

1/3 1/4 1/5 1/6 a2 2 − 4/
0.8 3
1/4 1/5 1/6 1/7 a3 sin(pi*x) v/s p 3(x)

2 − 6/
0.6 3
p3 ( x) = −4.12x + 4.12x − 0.05

0.4
2
0.2
GHO 0
SEL - MA33A 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 91
x
Ejemplo 1:
f ( x) = sin( x)
5,6
f ( x) = sin( x) p ( x) = ∑ ak xi k
GHO SEL - MA33A k =0 10

Ejemplo 2:
x
f ( x) = 2
0.5
0.4
x +1
0.3 7
0.2 p ( x) = ∑ ak xi k
0.1
k =0
9
0
p ( x) = ∑ ak xi k
y=x/(x 2+1)
-0.1
7th degree
k =0
9th degree
-0.2
-0.3
-0.4
-0.5
-5 -4 -3 -2 -1 0 1 2 3 4 5
GHO SEL - MA33A 11
1) Motivación 3: Programación Lineal
n
z
cT x = ∑ ck xk
minn c t x k =1
x∈\
Ax ≤ b
x≥0 Región Factible
x2
Ax ≤ b
x≥0 Vértices
x1
GHO SEL - MA33A 12

2) Defs. y Resultados Básicos 1
Resolver un sistema de n ecuaciones lineales y
n incógnitas consiste en determinar los valores
de las variables: x1 , x2 , ... , xn tales que, dados:
A = (aij) y b = (bi) (i =1,...,n ; j =1,...,n) se satisfagan
las ecuaciones: Ax = b
⎛ a11 a12 " a1n ⎞⎛ x1 ⎞ ⎛ b1 ⎞
. ⎜ . . ⎟⎜. ⎟ ⎜ ⎟
a22 " . a2 n ⎟⎜.x2 ⎟ ⎜ b2 ⎟
.. ⎜ a21
.. . . =
⎜ # % # ⎟⎜ # ⎟ ⎜ # ⎟
⎜ ⎟⎜ ⎟ ⎜ ⎟
GHO
⎝ an1 an 2 " ann ⎠⎝ xn ⎠ ⎝ bn ⎠
SEL - MA33A 13
Todo SEL se puede resolver bien
numéricamente ?
Sea A ∈ ℜm×n invertible y b ∈ ℜm. Entonces
es posible demostrar que si se perturba A o b
se tiene:
δx −1 δA
≤ A A (1)
x+δx A
δx −1 δb
≤ A A (2)
x b
GHO SEL - MA33A 14
La norma de C ∈ ℜm×n se define según:

⎧ n ⎫ ⎧ n n ⎫
C ∞
= max ⎨∑ cij ⎬ = max ⎨∑ c1 j ,..., ∑ cnj ⎬
i =1,...,n i =1,...,n
⎩ j =1 ⎭ ⎩ j =1 j =1 ⎭
Se define el número de condicionamiento*
de A según: −1
cond ∞ ( A) = A ∞ ⋅ A
∞
Se tiene que: cond (A) ≥ 1.

GHO SEL - MA33A 15
*Revisar cálculo del cond(A) en Matlab
Veamos un ejemplo:
0.550 0.423 0.127 1
A=
0.484 0.372
b=
0.112
⇒ x =
-1
0.550 0.423 0.127 -0.4536

A+δA =
0.48 3 0.372
b=
0.112
⇒ x’ =
0.89
Se tiene: cond(A) = 0.973×7833.3 = 7621.8 !!!

El sistema es mejor condicionado si se tiene
que cond (A) esta cerca de 1 (Mat. de Hilbert)
GHO SEL - MA33A 16
MN para Sist. de Ecs. Lineales
3) Método de Gauss 1
Método de Gauss sin Anulación de Pivote:
Parte 1: Eliminación de variables bajo la
diagonal en las ecuaciones mediante
operaciones elementales:
ÆMultiplicar una ecuación por un real
ÆSumar dos ecuaciones
Se entonces producen ceros bajo la diagonal.
Parte 2: Sustitución backward de las
variables en las ecuaciones
GHO SEL - MA33A 17
MN para Sist. de Ecs. Lineales
Sustitución Backwards:
u n ( n +1)
xn =
u nn
1 ⎛ n ⎞
xk =
u kk
⎜ u k ( n +1) − ∑ u kj x j ⎟ k = ( n − 1),...,1
⎝ j = k +1 ⎠
Veamos un ejemplo.
GHO SEL - MA33A 18
Estrategias de Pivoteo
En la iteración k de la primera etapa del
método de Gauss es posible que el pivote
akii (elementos de la diagonal de la ecuación
i) se anule. En este caso se permuta la
ecuación i con la ecuación m de mayor
pivote en módulo (pivoteo . parcial):
..
| a mi | ≥ | a ji | para todo j = i+1,…,n
k k
Investigue la estrategia de pivoteo completo

GHO SEL - MA33A 19
3) Método de Gauss 4: # de Ops
Una medida de la eficiencia de un algoritmo
es el tiempo que demora en ejecutarse, el
cual es proporcional al número de
operaciones aritméticas (ops)
n-1 Parte 1
Ops_Gauss(n) = ∑ (n - i)(2n - 2i + 6) O(n3)
i=1
+
±,×,÷ n
Parte 2
∑ (2i - 1)
i=1
O(n2)
GHO SEL - MA33A 20
3) Método de Gauss - Jordan:
El método de Gauss – Jordan consiste en
aplicar 2 veces la primera parte del método
de Gauss, es decir: triangularizar superior e
inferiormente la matriz A
n-1 Parte 1
Ops_G-J(n) = ∑ (n - i)(2n - 2i + 6) O(n3)
i=1
+
±, × , ÷ n-1
∑ 4i + n
Parte 2
i=1
O(n2)
GHO SEL - MA33A 21
4) Análisis de Error del M. de Gauss:
Es posible hacer un análisis de propagación
de errores, que se obtienen al realizar las
operaciones aritméticas de la primera y
segunda etapa del método de Gauss o
Gauss – Jordan
Se demuestra que esta propagación de
errores disminuye si se utiliza alguna técnica
de pivoteo (parcial o completo)
GHO SEL - MA33A 22
5) Matriz Inversa y Determinante 1:
Matriz inversa A: Se aplica el método de
Gauss – Jordan al SEL aumentado con las
columnas de la matriz identidad
a 11 a 12  a 1n ¦ 1 0  0
a 21 a 22  a 2n ¦ 0 1  0
    ¦    
a n1 a n2  a nn ¦ 0 0  1
GHO SEL - MA33A 23
El det(A) se puede definir recursivamente

mediante la fórmula de Laplace:
n
det( A) = ∑ (−1) i+ j
aij det( Aij )
j =1
Fórmula válida Matriz Cofactor ij de A

para cualquier Se obtiene eliminando
fila i o columna j fila i y columna j
GHO SEL - MA33A 24

Propiedades del Determinante:
a) Si todos los coeficientes de una fila o
columna de A son ceros ⇒ det(A) = 0
b) Si dos o más filas o columnas de A son
linealmente dependientes ⇒ det(A) = 0
c) Si se reemplaza la fila i (Fi) por la fila j (Fj)
donde i ≠ j entonces ⇒ det(A’) = -det(A)
d) Si se reemplaza la fila i (Fi) por (Fi + λFj)
donde i ≠ j entonces ⇒ det(A’) = det(A)
GHO SEL - MA33A 25
Propiedades del Determinante:
e) Si A y B son dos matrices cuadradas de
igual tamaño: det(AB) = det(A)det(B)
f) det(At) = det(A)
g) Si A es invertible: det(A-1) = 1/det(A)
h) Si A es una matriz triangular inferior,
superior o diagonal:
n
det( A) = ∏ akk
GHO k =1
SEL - MA33A 26
Para calcular el det(A) se aplica el método de
Gauss y la descomposición A = LU:
Efectivamente, si se puede triangularizar la
matriz A, entonces:
PA = LU ⇒ det(A) = det(PTLU)
det(A) = det(PT)det(L)det(U) = det(PT)det(U)
n
det(U ) = ∏ ukk
GHO
k =1 SEL - MA33A 27
6) Factorización de Matrices 1: A=LU
Descomposición A = LU (Alg. Gauss)
1 0 … 0 0 u11 u12 … u1n-1 u1n
m21 1 … 0 0 0 u22 … u2n-1 u2n
… …
…
m31 m32 0 0 0
… …
… 1
… un-1n-1
…
…
mn1 mn2 … mnn-1 1 0 0 … 0 unn
L A = LU U
GHO SEL - MA33A 28
6) Factorización de Matrices 2: Crout
Una matriz A cuadrada es tridiagonal si sus
coeficientes no nulos se ubican en las
diagonales principal y secundarias
a 11 a 12 0 0  0
a 21 a 22 a 23 0  0
0 a 32 a 33 a 34  0
A 
0 0 a 43 a 44  0
     
0 0  0 a nn−1 a nn
GHO SEL - MA33A 29
Una matriz A cuadrada tridiagonal puede ser
factorizada según A=LU donde:
l 11 0 0  0 0 1 u 12 0  0
l 21 l 22 0  0 0
0 1 u 23  0
0 l 32 l 33 0  0
0 0 1  0
0 0 l 43 l 44  0
    u n−1n
     
0 0  0 1
0 0  0 l nn−1 l nn
U
GHO
L SEL - MA33A 30
Método de Crout para matrices tridiagonales:
Paso 1: l 11  a 11
a 12
u 12 
l 11
Paso 2: Para i=2,…,n-1 l ii−1  a ii−1
l ii  a ii − l ii−1 u i−1i
a ii1
u ii1 
l ii
Paso 3: l nn−1  a nn−1
l nn  a nn − l nn−1 u n−1n
GHO SEL - MA33A 31
6) Fact. de Matrices 5: Cholesky
Una matriz cuadrada A es definida positiva
si y solo si: xtAx > 0 para todo x ∈ ℜn
Teorema: Si A es definida positiva:
a) det(A) ≠ 0
b) akk > 0 para todo k=1,…,n
c) 1max akj ≤ max akk
≤k , j ≤n 1≤ k ≤ n
d) (aij ) 2 < aii a jj ∀i ≠ j

GHO SEL - MA33A 32
Teorema: A es definida positiva si y solo si
los determinantes de las matrices cofactores
principales son positivos: det(Akk) > 0 para
todo k=1,…,n.
a11 … a1k
… Matriz cofactor
Akk =
…
…
principal k
ak1 … akk
GHO SEL - MA33A 33
Teorema: A es definida positiva si y solo si
puede factorizarse como A = LLT donde L es
una matriz triangular inferior con lii > 0 para
todo i=1,…,n.
En este caso para resolver un SEL Ax = b
se debe aplicar la sustitución forward -
backward
GHO SEL - MA33A 34
6) Fact. de Matrices 8: Met. Cholesky
Paso 1: l 11  a 11
Paso 2: Para j=2,…,n l j1  a j1 /l 11

i−1 1/2
Paso 3: Para i=2,…,n-1 l ii  a ii − ∑ l2ik

k1
i−1
a ji − ∑ ljk l ik
k1
Para j=(i+1),…,n l ji 
l ii
n−1 1/2
Paso 4: l nn 
GHO
a nn − ∑ l2nkSEL - MA33A 35
k1
6) Fact. Matrices 9: Ortogonalización
Factorización QR:
A = QR
Q matriz ortogonal: QtQ = I (Gram-Schmidt)
R = QtA
Factorización SVD:
Anxm = USVt
Unxn , Vmxm matrices ortogonales
Snxm matriz valores singulares (raíz v.p. At*A)
GHO SEL - MA33A 36
7) Métodos Iterativos para SEL 1:
Métodos Iterativos:
(0) n
x ∈ℜ
(k+1) (k)
x = F(x ) ∀k≥0
Los métodos para SEL son de la forma:

(k) (k)
F(x ) = Bx +h
n×n n
donde B ∈ ℜ ,h∈ℜ
GHO SEL - MA33A 37
En general se construyen B y h de la
siguiente forma:
n×n
Sean M y N ∈ ℜ tales que:
M es invertible y A = M – N
Entonces:
-1 -1
Ax = b ⇔ Mx = Nx + b ⇔ x = M Nx + M b
Esto sugiere definir:
-1 -1
B=M N y h= M b
GHO SEL - MA33A 38
Luego, si descomponemos A = (aij ) invertible
según:
A = diag(A) + low(A) + up(A)
n×n
Donde diag(A) , low(A) , up(A) ∈ ℜ se
definen según:
aij si i = j
diag(A)ij =
0 si i ≠ j
GHO SEL - MA33A 39
aij si i > j
low(A)ij =
0 si i ≤ j
aij si i < j
up(A)ij =
0 si i ≥ j
En base a estas definiciones se tienen los
métodos de Jacobi y Gauss - Seidel
GHO SEL - MA33A 40
Jacobi: define M y N según:
M = diag(A)
N = -[low(A) + up(A)]
-1
B = - diag(A) [low(A) + up(A)]
-1
h = diag(A) b
GHO SEL - MA33A 41
Si x(k) = (xi(k)) i = 1,…,n es el vector de la
iteración k del método de Jacobi, entonces
satisface la siguiente fórmula iterativa:
⎛ n ⎞
⎜ − a x ( k −1) + b ⎟
⎜⎜ ∑
j =1
ij j i
⎟⎟
xi (k )
= ⎝ j ≠i ⎠ 1 ≤ i ≤ n, k = 1, 2,3...
aii
GHO SEL - MA33A 42
Gauss - Seidel: define M y N según
M = [diag(A) + low(A)] N = - up(A)
-1
B = - [diag(A) + low(A)] [up(A)]
-1
h = [diag(A) + low(A)] b
J y G-S convergen ∀x0 si A es estrictamente
diagonal dominante:
akk > ∑ j =1, j ≠k akj ∀k = 1,..., n
n
GHO SEL - MA33A 43

iteración k del método de Gauss-Seidel,
satisface la siguiente fórmula iterativa:
⎛ i −1 n
⎞
⎜ ∑ ij j − ∑a x ( k −1)
− a x (k )
ij j +bi ⎟
xi (k )
= ⎝ j =1 j =i +1 ⎠ 1 ≤ i ≤ n,
aii
k = 1, 2,3...
GHO SEL - MA33A 44
iteración k del método de SOR, satisface
la siguiente fórmula iterativa:
⎛ i −1 n ⎞
⎜ −∑ aij x j − ∑ aij x j
( k −1)
(k )
+bi ⎟
xi ( k ) = (1 − ω) xi ( k −1)
+ω ⎝ j =1 j =i +1 ⎠
aii
1 ≤ i ≤ n, k = 1,2,3...
GHO SEL - MA33A 45
Para matrices tridiagonales y definidas
positivas, el valor óptimo de ω está dado
por la fórmula:
2
 
1 1−T
Donde:
−1
TJ = −[ Diag ( A)] ( Low( A) + Up ( A))
−1
TG = −[ Diag ( A) + Low( A)] Up ( A)
GHO SEL - MA33A 46
Si A es definida positiva, el método del
gradiente conjugado está dado por:
minn q ( x) = x Ax − x b ⇔ Ax = b
1
2
t t
x∈\
Paso 0: x ∈ \ , g = Ax − b, d = − g
0 n 0 0 0 0
k t k
(g ) d
Paso 1: α = − k t
k
k
(d ) Ad
Paso 2: x = x + α d
k +1 k k k
GHO SEL - MA33A 47
Método del gradiente conjugado:
k +1 k +1
Paso 3: g = Ax − b
k +1 t k
( g ) Ad
Paso 4: β =
k
k t k
(d ) Ad
Paso 5: d = − g + β d
k +1 k +1 k k
Si no hay errores de redondeo el método

del gradiente conjugado converge en a lo
más n iteraciones.
GHO SEL - MA33A 48
Análisis de Error de los Métodos Iterativos
Es posible hacer un análisis de propagación
de errores que se obtienen al realizar las
operaciones aritméticas de las iteraciones del
método de Jacobi y Gauss – Seidel
Si x(k) es la iteración k de J o G-S y Ax = b:
x−x (k )
−1
b − Ax (k )
≤ A A
x b
GHO cond(A)
SEL - MA33A 49
Si A es una matriz cuadrada, el polinomio en
λ definido por:
p(λ) = det(A- λI)
es el polinomio característico de A
El polinomio p es de grado n y tiene a lo más
n raíces distintas (complejas). Estas raíces
de p se denominan valores propios de A.
GHO SEL - MA33A 50
Definición: El radio espectral de A: ρ(A) se
define como:
ρ(A) = max | λi |
i=1,…,n
donde λi es un valor propio de A

Proposición: Si A es una matriz cuadrada:
a) || A ||2 = ρ(AtA)½
b) ρ(A) ≤ || A ||
GHO SEL - MA33A 51
La relación entre métodos iterativos para
SEL y valores propios la establece los
siguientes resultados:
Proposición: Si xk es la iteración k de un
método iterativo para un SEL que tiene la
forma:
xk+1 = Txk + c y Ax = b
Entonces:
Para k → ∞ || xk – x || ≈ ρ(T)k || x0 – x ||
GHO SEL - MA33A 52
Proposición: Si xk es la iteración k de un
método iterativo para un SEL que tiene la
forma:
xk+1 = Txk + c y Ax = b
Entonces: xk → x ssi ρ(T) < 1
Proposición: Si los métodos de Jacobi y
Gauss-Seidel convergen se tiene que:
0 ≤ ρ(TGS) < ρ(TJ) < 1
GHO SEL - MA33A 53
Bibliografía
1) R. Burden & J. D. Faires, Análisis
Numérico, Séptima Edición, Thomson
Learning, 2002.
2) J. Stoer & R. Burlisch, Introduction to
Numerical Analysis, Second Edition,
Springer, 1992.
3) G. Hernández O.: Apuntes de Cálculo
Numérico 2007
GHO SEL - MA33A 54

Capitulo 2 Sistemas de Ecuaciones Lineales PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Capitulo 2 Sistemas de Ecuaciones Lineales PDF

Cargado por

Copyright:

Formatos disponibles

Universidad de Chile

Departamento de Ingeniería Matemática

Cálculo Numérico MA-33A

n Dados (n+1) puntos ( xi , yi )

GHO SEL - MA33A 7

1/4 1/5 1/6 1/7 a3 sin(pi*x) v/s p 3(x)

p3 ( x) = −4.12x + 4.12x − 0.05

GHO SEL - MA33A k =0 10

GHO SEL - MA33A 12

 La norma de C ∈ ℜm×n se define según:

 Se tiene que: cond (A) ≥ 1.

0.550 0.423 0.127 -0.4536

 Se tiene: cond(A) = 0.973×7833.3 = 7621.8 !!!

 Investigue la estrategia de pivoteo completo

 El det(A) se puede definir recursivamente

Fórmula válida Matriz Cofactor ij de A

GHO SEL - MA33A 24

d) (aij ) 2 < aii a jj ∀i ≠ j

Paso 2: Para j=2,…,n l j1  a j1 /l 11

Paso 3: Para i=2,…,n-1 l ii  a ii − ∑ l2ik

Los métodos para SEL son de la forma:

GHO SEL - MA33A 43

 Si no hay errores de redondeo el método

donde λi es un valor propio de A

También podría gustarte

La norma de C ∈ ℜm×n se define según:

Se tiene que: cond (A) ≥ 1.

Se tiene: cond(A) = 0.973×7833.3 = 7621.8 !!!

Investigue la estrategia de pivoteo completo

El det(A) se puede definir recursivamente

Si no hay errores de redondeo el método