Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Solucin de ecuaciones lineales: Normas vectoriales, matriciales, nmero de condicin, cotas de error y residual Ursula Iturrarn-Viveros
Facultad de Ciencias, U.N.A.M.
Anlisis Numrico

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Contenido

Introduccin Deniciones Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas de error Residual

2 3 4 5 6

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d Deniciones

Problema a resolver Queremos encontrar la soluncin al problema de sistemas lineales: Ax = b para lo que necesitamos el concepto de norma: Norma vectorial Sea un entero p > 0 y un vector x, de dimension n. La norma p se dene como:
n 1/p

(1)

||x||p =

i =1

|xi |

(2)

Casos especiales son: La norma-1

n

||x||1 =

i =1

|xi |

(3)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Normas vectoriales

Normas vectoriales La norma-2 que corresponde a la norma Euclidiana

n 1/2

||x||2 = La norma innito

i =1

|xi |

(4)

max

||x|| =1 i n {||xi ||} que se puede ver como el caso limite cuando p .

(5)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Ejemplo de normas vectoriales Para el vector x = [1.6, 1.2]T , tenemos ||x||1 = 2.8, ||x||2 = 2.0, ||x|| = 1.6 (6)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Propiedades de normas vectoriales

En general para cualquier vector n-dimensional x tenemos que: ||x||1 ||x||2 ||x|| Por otro lado tambin tenemos que ||x||1 n||x||2 , ||x||2 n||x|| , y ||x||1 n||x|| (7)

(8)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Propiedades que deben cumplir las normas vectoriales

Propiedades de normas ||x|| > 0 si x = 0 || x|| = | |||x|| para cualquier escalar

||x + y|| ||x|| + ||y|| desigualdad del tringulo Ntese que las primeras dos propiedades juntas implican que ||x|| = 0 si y solo si x = 0. Una variacin til de la desigualdad del tringulo es: |||x|| ||y||| ||x y|| (9)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Normas matriciales Dada una norma vectorial, denimos su correspondiente norma matricial de una matriz A de tamao m n como sigue: Norma matricial
max

||A|| =x = 0

esta norma se llama inducida o subordinada a la norma vectorial. Algunas normas martriciales son ms fciles de calcular que otras por ejemplo la norma que corresponde a la norma vectorial norma-1 (el mximo del valor absoluto de las columnas):
max m

||Ax|| ||x||

(10)

||A||1 = j

i =1

|aij |

(11)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Normas matriciales: Ejemplo La norma innito (el mximo del valor absoluto de los renglones): ||A|| = i Ejemplo Para la matriz: 2 1 1 A= 1 0 1 3 1 4
max n j =1

|aij |

(12)

(13)

el mximo valor absoluto de sus columnas y renglones es: ||A||1 = 6 y ||A|| = 8

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Propiedades que deben cumplir las normas matriciales

Si A y B son matrices cualesquiera Propiedades de normas ||A|| > 0 si A = 0 || A|| = | |||A|| para cualquier escalar ||AB|| ||A||||B||

||A + B|| ||A|| + ||B|| desigualdad del tringulo ||Ax|| ||A||||x|| para cualquier vector x Ntese que las primeras dos propiedades juntas implican que ||A|| = 0 si y solo si A = 0.

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Nmero de condicin de una matriz

Nmero de condicin El nmero de condicin de una matriz cuadrada no singular A con respecto a una norma matricial dada, se dene como: cond(A) = ||A|| ||A1 || por convencin cond(A) = , si A es singular. (14)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Nmero de condicin: Ejemplo Ejemplo La matriz A y su inversa estan dadas por: 2 1 1 0.5 1.5 0.5 A = 1 0 1 , A1 = 0.5 2.5 0.5 3 1 4 0.5 0.5 0.5

(15)

tnemos que ||A1 ||1 = 4.5 y ||A1 || = 3.5 por lo tanto: cond1 (A) = ||A||1 ||A1 ||1 = 6(4.5) = 27 y cond (A) = ||A|| ||A1 || = 8(3.5) = 28

Para este ejemplo vemos que el valor numrico del nmero de condicin de una matriz de n n depende de la norma que se use. Por la equivalencia de las normas vectoriales, estos valores pueden diferir a lo ms una constante ja que depende de n y por lo tanto son igualmente tiles.

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Nmero de condicin: Ejemplo de matriz mal condicionada Matriz de Hilbert de tamao 4 4 1 1/2 H4 = 1/3 1/4 0.0160 0.1200 = 1000 0.2400 0.1400 1/2 1/3 1/3 1/4 1/4 1/5 1/5 1/6 0.1200 1.2000 2.7000 1.6800 1/4 1/5 1/6 1/6 0.2400 0.1400 2.7000 1.6800 6.4800 4.2000 4.2000 2.8000 (16)

1 H 4

El nmero de condicin es: cond1 (H4 ) = cond (H4 ) = 2.8375e + 04 Si consideramos matrices de Hilbert de mayor tamao, mucho mayor ser su nmero de condicin.

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Nmero de condicin Como ||A||||A1 || =

max

x=0

||Ax|| |||x|

max

x=0

||Ax|| |||x|

(17)

El nmero de condicin de una matriz mide el cociente del mximo relativo de estiramiento" con respecto al mximo relativo de la contraccin" que la matriz produce a un vector diferente de cero. Otra forma de verlo es que el el nmero de condicin de una matriz mide la cantidad de distorcin de la esfera unitaria (en la norma vectorial correspondiente) bajo la transformacin de la matriz. Entre ms grande el nmero de condicin ms grande la distorcin

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Propiedades del nmero de condicin

Propiedades del nmero de condicin Para cualquier matriz A, cond(A)>1 Para la matriz identidad cond(I)=1 Para cualquier matriz A y un escalar = 0, cond( A)=cond(A) Para cualquier matriz diagonal D = diag (di ), cond(D)=max(|di |)/min(|di |) El nmero de condicin es una medida de que tan cerca esta una matriz de ser singular. Una matriz con un nmero de condicin grande esta cercana a ser singular, mientras que una matriz con un nmero de condicin cercano a 1, esta muy lejana a ser singular.

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Determinante de una matriz Ntese que el determinante de una matriz no es un buen indicador de matrices cercanas a ser singulares. Aunque la matriz A es singular si det(A) = 0, la magnitud de un derminante diferente de cero, ya sea grande o pequea no nos proporciona informacin respecto a que tan cerca o lejos esta una matriz de ser singular. Ejemplo det(In ) = n que puede ser arbitrariamente pequeo para < 1 y la matriz perfectamente bien condicionada para cualquier = 0. La utilidad del nmero de condicin radica en medir la precisin de las soluciones de los sistemas de ecuaciones lineales. El clculo de la norma ||A|| como el valor absoluto mximo de la suma de renglones o columnas es sencillo.

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Clculo de ||A1 || Algo que puede ser complicado es el clculo de ||A1 ||. De las propiedades de las normas, sabemos que si z es una solucin a Az = y entonces: ||z|| = ||A1 y|| ||A1 ||||y||, de donde ||z|| ||A1 ||, ||y|| (18)

(19)

y esta cota se alcanza para algn vector elegido de forma ||z|| ptima y tal que el cociente || y|| es tan grande como fuer posible, entonces se tendra una estimacin razonable para ||A1 ||.

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Clculo de ||A1 ||: Ejemplo Ejemplo Consideremos la matriz: A= 0.913 0.659 0.457 0.330 (20)

Si elegimos y = [0, 1.5]T , entonces z = [7780, 10780]T de donde ||z||1 1.238 104 (21) ||A1 || ||y||1 de donde cond(A) = ||A||||A1 || 1.3701.238104 = 1.696104 (22)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Clculo de ||A1 ||: Ejemplo

El vector y del ejemplo anterior fue elegido de forma que ||z|| produce el mximo posible de || y|| y por lo tanto un valor correcto para ||A1 ||. Encontrar tal ptimo y puede ser prohibitivo en trminos computacionales. Una forma heurstica es elegir a y como solucin al sistema de ecuaciones: AT y = c donde c es un vector cuyas componentes son 1, con los signos elegidos de forma tal que y resulte lo ms grande posible. (23)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Cotas de error El nmero de condicin tambn nos da cotas cuatitativas de las cotas de error cuando se calculan las soluciones a un sistema de ecuaciones. Sea x la solucin a un sistema de ecuaciones Ax = b. Sistema de ecuaciones perturbado la solucin al sistema: Ax = b + b con un vector de Sea x trminos independientes (del lado derecho) perturbado. Si x entonces tenemos: denimos x = x = A(x + x) = Ax + Ax = b + b Ax como Ax = b debemos tener Ax = b, de donde x = A 1 b . (24)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Cotas de error Tomando normas, obtenemos las desigualdades: ||b|| = ||Ax|| ||A||||x||, y ||x|| = ||A1 x|| ||A1 ||||b|| Combinando estas igualdades obtenemos: ||A|| ||x|| ||A1 || ||b|| ||x|| ||b|| (27) (26) o ||x|| ||b||/||A|| (25)

Por denicin ||A|| ||A1 || = cond(A) de donde obtenemos la cota: ||x|| ||b|| cond(A) (28) ||x|| ||b||

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Nmero de condicin de una matriz: factor de ampliciacin

El nmero de condicin de una matriz nos da un factor de ampliciacin que acota el cambio relativo mximo en el vector de trminos independientes del lado derecho de la ecuacin: Cambio relativo o perturbacin en la matriz A Tenemos un resultado similar para cambios o perturbaciones =b similares, pero ahora en la matriz A. Si Ax = b y (A + E) x entonces: = A1 (Ax b ) = A 1 E x x = x x (29)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Cambio relativo o perturbacin en la matriz A

De la ecuacin anterior tomamos las normas y obtenemos la desigualdad: || ||x|| ||A1 || ||E||||x (30) que usando la dencin de nmero de condicin obtenemos la cota: ||E|| ||x|| cond(A) (31) ||x|| ||A||

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Cambio relativo o perturbacin en la matriz A Una interpretacin geomtrica de estos resultados de sensibilidad en dos dimensiones es cuando se consideran: Interpretacin geomtrica Dos ecuaciones que denen dos rectas casi paralelas, entonces su punto de interseccin no esta claramente denido, por los errores nmericos Si las rectas no son paralelas entonces su interseccin estar muy bien denida, por ejemplo en el caso de que ambas rectas sean perpendiculares. En resumen si las entradas tienen una precisin de mquina, entonces podemos esperar un error relativo en la solucin al sistema de ecuaciones Ax = b acotada por: aproximada x x|| < ||x cond(A)mach ||x|| (32)

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Condicionamiento de sistemas lineales

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Denicin del residual Para verifacr la solucin a un sistema de ecuaciones sustituimos en la ecuacin y vemos que tan cercano es el ajuste entre el lado izquierdo y derecho de la solucin. Residual a un sistema de El residual de una solucin aproximada x ecuaciones Ax = b es la diferencia: . r = b Ax (33)

Si A es no singular entonces en teora el error: x|| = 0 si y solo si ||r|| = 0. En la prctica estas ||x|| = ||x cantidades no son necesariamente pequeas. Notemos que si multimplicamos el sistema de ecuaciones Ax = b por una constante arbiraria diferente de cero no se ve afectado.

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Residual Por lo tanto al residual hay que multiplicarlo por esta constante y este se puede hacer arbitrariamente grande o pequeo dependiendo del escalamiento del problema. Relacin entre el error y el residual Notemos que x|| = ||A1 (Ax b) || = || A1 r|| ||A1 || ||r|| ||x|| = ||x (34) dividiendo ambos lados por ||x|| y usando la denicin de cond(A) tenemos que: ||r|| ||x|| cond(A) || || ||x ||A|| ||x (35)

Entonces un residual pequeo implica un error relativo en la solucin solo cuando la matriz A este bien condicionada.

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Residual: Ejemplo Consideremos el siguiente sistema de ecuaciones: Ejemplo de residual Ax = 0.913 0.659 0.457 0.330 x1 x2 = 0.254 0.127 =b (36)

Consideremos las dos soluciones aproximadas: 1 = x 0.0827 0.5 2 = x 0.999 1.001 (37)

Las normas y sus respectivos residuales son: ||r1 || = 2.1 104 ||r2 || = 2.4 102 (38)

1 tiene el residual ms Cul ser la mejor solucin? x pequeo, pero la solucin exacta es x = [1, 1]T . La razn es

Introduccin Normas vectoriales y matriciales Nmero de condicin de una matriz Propiedades del nmero de condicin Cotas d

Gracias