Métodos Iterativos para Resolver Sistemas Lineales Departamento de Matemétieas, CCIR/ITESM 17 de julio de 2009 indice 1_Introduccién 3 Generalidad 4, Método Iterativo: Un ejempk 3.1, Introduceién. En esta lectura veremos procedimientos iterativos para resolver un sistema de ecuaciones lineales. El primero de ellos conocido como el procedimiento de Jacobi basado eu la idea de punto fijo y un segundo procedimien. to conocido como método de Gauss-Seidel el cual es una modificacién simple del procedimiento de Jacobi. Introduciremos el concepto de matriz diagonalmente dominante el cual se relaciona con la garantia de conver- gencia en la aplicacién de los métodos vistos. Veremos qne en algunos casos es posible replantear el sistema para garantizar la convergencia, Asimismo se comentard en qué sitnaciones los métodos iterativos son mes convenientes a los métodos directos. 3.2. Objetivos Serd importante que usted + Entienda los conceptos: ‘* método iterativo, ¢ ecuacién de recurrencia, © convergencia, fe dominante * matriz diagonals = En términos cualitativos ‘« Entienda la diferencia entre un método directo y uno iterativo.y uno directo. « Entienda la conveniencia de usar un método iterati + Entienda y mecanice los procedimientos de * Método de Jacobi, ‘* Método de Gauss-Seidel. 3.3. Generalidades Un meétodo iteratino es un método que progresivamente va caleulando aproximaciones a la solucién de un problema. En Matemiticas, en un método iterativo se repite un mismo proceso de mejora sobre una soluicién aproximada: se espera que lo obtenido sea una solueién mds aproscimada que la inicial. El proceso se repite sobre esta nueva solucidn hasta que el resultado més reciente satisfaga ciertos requisitos. A diferencia de Jos métodos ditectos, en los cuales se debe terminar el proceso para tener la respuesta, en los métodos iterativos se puede suspender el proceso al termino de una iteracién y se obtiene una aproximacién a la solu: 3.4, Método Iterativo: Un ejemplo Considere el problema de encontrar una raiz a una ecuacién enadrdtiea, por ejemplo: Un método directo para resolverlo es aplicar la férmula general Apt = ( mm 2) Un método iterativo es el método de Newton que consiste en usar la férmula de mejora: fle) 2-2-2 Be Fy Ta T “Ff Si tomamos como primera aproximacién ay — 3 (para i — 0), tendremos ay? — 29-2 Pao —T ayo 2.2 y apli Si ahora tomamos como aproximacién 2.011 Si ahora tomamos como aproximacién 1» = 2.011 y aplicamos de nuevo la férmula tendremos: ay? m,~2 2.0117 ~ 2.011 — 201 5-011 2 2. 2.00008 ay =2,— Etceter 3.5, Ventajas y Desventajas Un elemento en contra que tienen los métodos iterativos sobre los inétodos directos es que caleulan apro- imaciones a la solucién, Los métodos iterativos se usan cuando no se conoce un mnétodo para obtener la solucién en forma exacta, También se utilizan cuando el método para determinar la solucién exacta requiere mucho tiempo de célculo, cuando una respuesta aproximada es adecuada, y cuando el mimero de iteraciones ¢s relativamente reducido,3.6. Método Iterative General Un método iterativo consta de los siguientes pasos, 1, inicia con una solucién aproximada (Semilla), 2, ejecuta una serie de edlculos para obtener 0 coustruir una mejor aproximacién partiendo de la aproxi- macién serilla, La formula que permite construir la aproximacién usando otra se conoce como ecuacién de reeurvencia, 3. se repite el paso anterior pero usando como semilla la aproximacién obtenida. 3.7. Metodo de Jacobi: Idea El método Jacobi es el método iterativo para resolver sistemas de ecuaciones lineales més simple y se aplica sélo a sistemas cuadrados, es decir a sistemas con tantas incégnitas como ecuaciones. 1, Primero se determina Ia ecuacién de reeurrencia. Para ello se ordenan Tas ecuaciones Ja ecuacién i se despeja la inedgnita #. En notacién matricial se eseribirse como: donde x es el vector de inedgnitas. 2, Se toma una aproximacién para las soluciones y a ésta se le designa por 9 jacién, 3, Se itera en el ciclo que cambia la aproxi Ejemplo 3.1 Partiendo de (x = 1,y =2) aplique dos iteraciones del método de Jacobi para resolver el sistema: Solucién Debemos primeramente despejar de la ecuaci6n la incégnita correspondiente. r = 0.20 + 0.00% ~ 0.40y y = 0.00 + 0252 + 0.00y Escrito en la notacién vectorial quedaria: +] _f 0.20], [0.00 -0.40] [ v}~{o00}*|025 0.00} | y Aplicamos la primera iteracién partiendo de ry = 1.00 y yp = 2.00: 0.20 + 0.00(1.00) — 0.40(2.00) 0.00 + 0.25(1.00) + 0.00(2.00) 0.60 0.25 n n y las inedgnitas, De a) (2) (3)Aplicanmos la segunda iteracién partiendo de 21 = -0.60 y yy = 0.25: x = 0.20 + 0.00(-0.60) — 0.40(0.25) = 0.10 te = 0.00 + 0.25(-0.60) + 0.00(0.25) = -0.15 Aplicamos la siguiente iteracién partiendo de r2 = 0.10 ¥ 91 = —0.15; ry = 0.20 + 0.00(0.10) — 0.40(-0.15) = 0.26 us = 0.00 + 0.25(0.10) + 0.00(-0.15) = 0.025 Aplicamos la siguiente iteracién partiendo de 23 = 0.26 y yq = 0.025: my = 0.20 + 0.00(0.26) — 0.40(0.025) = 0.190 ua = 0.00 + 0.25(0.26) + 0.00(0.025) = 0.065 Aplicamos la siguiente iteracién partiendo de x4 = 0.190 y 1 = 0.065; 5 = 0.20 + 0.00(0.19) — 0.40(0.065) oa74 ys = 0.00 + 0.25(0.19) + 0.00(0.065) = 0.0475 Aplicamos la siguiente iteracién partiendo de 25 = 0.174 y ys = 0.0475: tm = 0.20 + 0,00(0.174) — 0.40 (0.0475) o.181 ye = 0.00 + 0.25(0.174) + 0.00(0.0475) = 0.0435 ino dispone de una hoja de eélenlo como EXCEL es fécil realizar los céleulos anteriores: ila | # [en |u| D 0 [1.000 _| 2.000 [-0.600 | 0.250 [1.750 | T [0.600 [0.250 [0.100 | -0.150 [0.700 | 2 [0.100 |-0.150 | 0-260 | 0.025 [0.175 3 | 0.200 | 0.025 | 0.190 | 0.005 [0.070 TY] 0.190 | 0.005 | 01rd | 00a [0.0IT | 5 [Olrd | Od | O.IST | 0.085 | 0.007 © POIST [U.K | U.I82 | 0.0% [0.001 donde D, = max (ai — 2i41|,lye— yistl) Este D, es utilizado como criterio de paro ett las iteraciones: Cuando D, es menos que cierto valor dado (digamos 0.001) ino ya no realiza la siguiente iteracién. Si se grafica las aproximaciones obtenidas en el plano x —yse obtendré algo como: ‘ean de Socio3.8. Convergencia y convergencia en Jacobi Uno de los principales problemas de los métodos iterativos es la garantia de que el método va a converyer, es decir, va a producir una sucesién de aproximaciones cada vez efectivamente mas proximas ala solucidn. En el caso del método de Jacobi no existe una condicién exacta para la convergencia, Lo mejor es una condicion que garantiza la couvergencia, pero en caso de no cumplirse puede o no haberla es la siguiente: Si la matriz de coeficientes original del método de Jacobi seguro converge. istema de ecuaciones es diagonalmente dominante, el 3.9. Matriz Diagonalmente Dominante Una matriz se dice matriz diagonalmente dominante, si en cada uno de los renglones, el valor absoluto del elemento de Ia diagonal principal es mayor que la suma de los valores abshitos de los elementos restantes del mismo renglén, A veces la matriz, de un sistema de ecuaciones no es diagonalnente dominante pero cuando se cambian el orden de las ecuaciones y las incdgnitas el nuevo sistema puede tener matriz de coeficientes diagonalmente dominante. diagonalmente dominantes: 41 177-61 2 [3s] ]28 3]. 13 0 32 9 32-9 Ejemplo 3.3 ‘son matrices diagonalmente dominantes: 4 13yy4 11 [3 | 2 sif.j2 87 3-10 2] [3 - 2% 3.10. Orden conveniente para Jacobi En ciertas ocasiones al aplicar Jacobi la matriz no es diagonalmente dominante y por tanto no existiné ga- rantia de convergencia. Sin embargo, en algunos casos seré posible reordenar las inedgnitas en. otra manera de forma que la nueva matriz de coeficientes sea diagonalmente dominante, Esto se puede detectar revisando todos los posibles ordenamientos de las incégnitas y ver cémo es la matriz resultante. Claro que esto conlleva ‘un bueno nimero de pruebas pues el niimero posible de ordenamientos enn variables es (n — 1)! pero cuando nes reducido es sencillo. Veamos algunos ejemplos. Bjemplo 3.4 Tndique cual es el orden conveniente para aplicar Jacobi al sistema Bo + Wy - 2 = -2 3.2 «1 Mz - 4y + 32 = -34/ 0-4 3 -32 - 2y - 122 = -2 -3 -2 -12 Soluci Con el orden y+ ar + z el sistema y su matriz de coeficientes quedan: By + 3r - 2 = 22 2 3 -1 - 4y + Ur + 32 = -3 4] -4 11 3 — 2y - Br - De = - -2 -3 -12 Ja matriz de coeficientes es diagonalmente dominante 03.11. El Método de Gauss-Seidel: Idea El método de Gauss-Seidel es muy semejante al método de Jacobi. Mientras que en el de Jacobi se utiliza al valor de las incdgnitas para determinar una nueva aproximacidn, en el de Ganss-Seidel se va utilizando los valores de las ineégnitas recien calculados en la misma iteracién, y no en la siguiente. Por ejemplo, en el método de Jacobi se obtiene en el primer céleulo «1, pero este valor de « no se utiliza sino hasta la siguiente iteracién. En el método de Gauss-Seidel en Ingar de eso se utiliza de x, en lugar de 2; en forma inmediata para calcular el valor de yis1 de igual manera procede con las siguientes variables; siempre se utilizan las variables recien caleuladas. 3.12. Método de Gauss-Seidel: Ejemplos Ejemplo 3.5 Partiendo de (x = 1,y = 2) aplique dos iteraciones del método de Gauss-Seidel para resolver el sistema’ Sr + Qy = 1 r- 4y = 0 Solucién Debemos primeramente despejar de la ecuacién la ineégnita correspondiente. r = 0.20 + 0.002 ~ 040y y = 0.00 + 025" + 0.00% Aplicanmos la primera iteracién partiendo de aq = 1.00 y yp = 2.00: 2 = 0.20 + 0,00(41.000) — 0.40(2.00) = ~0.600 mm = 0.00 + 0.25(—0.600) + 0.00(2.00) = 0.15 Aplicamos la segunda iteracién partiendo de y= -0.600 y y1 = ~0.15: 2 = 0.20 + 0,00(-0.600) — 0.40(-0.15) = 0.26 wm = 0.00 + — 0.25(0.26) + 0.00(-0.15) = 0.065 Aplicamos la tercera iteracién partiendo de ara = 0.26 yy» = 0.068: xy = 0.20 + 0.00(0.26) — 0.40(0.065) 0.174 a = 0.00 + 0.25(0.174) + 0.00(0.174) = 0.0435 Ejemplo 3.6 ntiendo de (x = 1, y = 2,» = 0) aplique dos iteraciones del método de Gauss-Seidel para resolver el sistema: Wr + Oy - 2 = -1 4dr + By - de 8 dr + dy + Wz = 4 Solucién Debemos primeramente despejar de la eenacién la inedgnita correspondiente. x = 0.10 + 0.002 + 0.00y + 0.102 0.66 — 0.332 + O.00y + 0.332 y 2 = 040 ~ 040x — 040y + 0.002Aplicanos la primera iteracién partiendo de ay = 1.00, yy = 2.00, y = = 0.00: ry = 0.10 + —0.00(1.00) + 0.00(2.00) + 0.10(0.00) = -02 un 0.65 — 0.3%—0.10) + 0,00(2.00) + 0.83(0.00) = 0.70 a = 0.40 — 0.40(-0.10) — 0.40(0.70) + 0.00(0.00) = 0.16 Aplicamnos la segunda iteracién partiendo de ary = —0.10 ¥ 1 = 0.70 y 21 = 0.16: x = -0.10 + 0.00(-0.10) + 0.00(0.70) + 0.10(0.16) = —0.084 ui = 0.66 — 0.33(-0.084) + 0,00(0.70) + 0.33(0.16) 0.748 21 = 040 — 0.40(—0.084) — 0.40(0.748) + 0.00(0.16) = 0.134 Aplicamos la tercera iteracién partiendo de ary = ~0.084 y yj = 0.748 y 21 = 0.134: 2 = -0.10 + 0.00(-0.084) + 0.00(0.748) + 0.10(0.134) = -0.086 u 0.66 — 0.33(-0.086) + 0.00(0.748) + 0.33(0134) = 0.7400 2 = 040 ~ 0.40(-0.036) — 0.40(0.740) + 0.00(0.134) = 0.188 3.13. Costo computacional Es dificil estimar el costo computacional de un método iterativo, pues de antemano se desconoce cudntas iteraciones requerira para obtener tma respuestas que satisfaga al usuario, Generalmente se procede a calcular €1 costo computacional por iteracién. Ei el caso del método de Jacobi la relacién de recurrencia utilizada es: Xi = C+ BX; No es dificil estimar el costo computacional que involucra: el producto de Ia matriz B, mx n por el vector x; toma n x (2n—1) FLOPs, y la suma de dos veetores en toma n FLOPs lo cual da un total de 2n? FLOPS en cada iteracion del método de Jacobi Utilizando esta informacién podemos concluir que si el algoritmo toma m iteraciones entonces el total de FLOPs serd de: 2mn® Por ello es que el método de Jacobi se prefi Ta convergencia y cuando el niimero de iter en problemas donde n es grande, cuando se puede garantizar Jones esperado es bajo.