An alisis aplicado. Ax = b . Gradiente conjugado.

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales Departamento de Matem aticas. ITAM. 2009.

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Cuadr aticas estrictamente convexas.

(x ) =

1 T x Ax b T x , A R n n 2 minimizar (x ) Ax = b .

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Cuadr aticas estrictamente convexas.

(x ) =

1 T x Ax b T x , A R n n 2 minimizar (x ) Ax = b .

A sim etrica positiva denida.

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Cuadr aticas estrictamente convexas.

(x ) =

1 T x Ax b T x , A R n n 2 minimizar (x ) Ax = b .

A sim etrica positiva denida. (x ) = Ax b .

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Cuadr aticas estrictamente convexas.

(x ) =

1 T x Ax b T x , A R n n 2 minimizar (x ) Ax = b .

A sim etrica positiva denida. (x ) = Ax b . x = A 1 b .

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Cuadr aticas estrictamente convexas.

(x ) =

1 T x Ax b T x , A R n n 2 minimizar (x ) Ax = b .

A sim etrica positiva denida. (x ) = Ax b . x = A 1 b . Factorizaci on de Cholesky: A = LLT .

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

M etodo iterativo: GC

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

M etodo iterativo: GC

Lejos de la soluci on: Ax b.

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

M etodo iterativo: GC

Lejos de la soluci on: Ax b.

Relajar la condici on: spd s.

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

M etodo iterativo: GC

Lejos de la soluci on: Ax b.

Relajar la condici on: spd s.

Residuo: r ( x ) = Ax b = ( x ).

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

M etodo iterativo: GC

Lejos de la soluci on: Ax b.

Relajar la condici on: spd s. Aproximaci on inicial: x0 .

Residuo: r ( x ) = Ax b = ( x ). x = x0 + 0 p0 + 1 p1 + + n1 pn1

1 sucesi on (nita) de aproximaciones {xk }n 0 . Forma general del m etodo xk = xk 1 + k 1 pk 1

Residuo rk = b Axk = (xk )

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Recursos para construir el m etodo.

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Recursos para construir el m etodo.

1 Direcciones de descenso: {pk }n 0 .

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Recursos para construir el m etodo.

1 Direcciones de descenso: {pk }n 0 .

Paso (b usqueda lineal exacta)

k =

Tp rk k T Ap pk k

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Recursos para construir el m etodo.

1 Direcciones de descenso: {pk }n 0 .

Paso (b usqueda lineal exacta)

k = Base de Rn .

Tp rk k T Ap pk k

B = {p0 , p1 , . . . , pn1 }

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Recursos para construir el m etodo.

1 Direcciones de descenso: {pk }n 0 .

Paso (b usqueda lineal exacta)

k = Base de Rn .

Tp rk k T Ap pk k

B = {p0 , p1 , . . . , pn1 }
1 Pregunta: C omo obtener {pk }n 0 ?

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Respuestas 1

Teorema 5.1: Utilizar una base A-ortogonal.

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Respuestas 1

Teorema 5.1: Utilizar una base A-ortogonal. Producto interior denido por A: < u , v >= u T Av

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Respuestas 1

Teorema 5.1: Utilizar una base A-ortogonal. Producto interior denido por A: < u , v >= u T Av Norma inducida: ||u ||A = u T Au

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Respuestas 1

Teorema 5.1: Utilizar una base A-ortogonal. Producto interior denido por A: < u , v >= u T Av Norma inducida: ||u ||A = u T Au A-ortogonalidad: u v = 0 = u T Av

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Respuestas 1

Teorema 5.1: Utilizar una base A-ortogonal. Producto interior denido por A: < u , v >= u T Av Norma inducida: ||u ||A = u T Au A-ortogonalidad: u v = 0 = u T Av Base A-ortogonal: piT Apj = 0 si i = j

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Respuestas 2
A-Ortogonalizaci on de Gram-Schmidt

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Respuestas 2
A-Ortogonalizaci on de Gram-Schmidt Direcci on inicial: p0 = r0 .

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Respuestas 2
A-Ortogonalizaci on de Gram-Schmidt Direcci on inicial: p0 = r0 . Primer iterando: x1 = x0 + 0 p0 .

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Respuestas 2
A-Ortogonalizaci on de Gram-Schmidt Direcci on inicial: p0 = r0 . Primer iterando: x1 = x0 + 0 p0 . Residuo asociado con x1 : r1 = Ax1 b .

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Respuestas 2
A-Ortogonalizaci on de Gram-Schmidt Direcci on inicial: p0 = r0 . Primer iterando: x1 = x0 + 0 p0 . Residuo asociado con x1 : r1 = Ax1 b . A-ortogonalizar p0 y r1 para obtener p1 . 1 p0 + p1 = r1 . p1 = r1 + en donde 1 =
T Ap r1 0 T p0 Ap0 T Ap r1 0 p0 T p0 Ap0

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Algoritmo de direcciones conjugadas

Supongamos que el conjunto B = {p0 , . . . , pn1 } es A-conjugado, i.e. piT Apj = 0, i = j . x0 una aproximaci on inicial xk +1 = xk + k pk Tp rk k k = T pk Apk

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Propiedades del algoritmo de direcciones conjugadas

Teorema 5.1 Supongamos que B es cualquier base A-ortogonal y x0 es cualquier punto inicial. Entonces la sucesi on generada por el algoritmo de direcciones conjugadas termina en a lo m as n pasos. Teorema 5.2 Los residuos y las direcciones satisfacen la relaci on:
T rk pi = 0,

i = 0, 1, . . . , k 1.

Adem as xk es el minimizador de en el conjunto {x |x = x0 + gen{p0 , p1 , . . . , pk 1 }}.

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Teor a de soporte
Teorema 5.2.1 Supongamos que obtenemos B a partir de los residuos por A-ortogonalizaci on de Gram-Schmidt. Entonces:

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Teor a de soporte
Teorema 5.2.1 Supongamos que obtenemos B a partir de los residuos por A-ortogonalizaci on de Gram-Schmidt. Entonces:
1

Los residuos son ortogonales riT rj = 0, i = j .

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Teor a de soporte
Teorema 5.2.1 Supongamos que obtenemos B a partir de los residuos por A-ortogonalizaci on de Gram-Schmidt. Entonces:
1

Los residuos son ortogonales riT rj = 0, Se cumple la propiedad

T rk +1 Api = 0,

i = j .

i = 0, 1, . . . , k 1.

Corolario La propiedad 2) implica que la recurrencia para el c alculo de la direcci on involucra s olo 1 t ermino, i.e. pk +1 = rk +1 + Tarea
Jos e Luis Morales http://allman.rhon.itam.mx/jmorales An alisis aplicado. Ax = b . Gradiente conjugado.

T Ap rk k +1 T Ap pk k

pk

Algoritmo GC
Escoger x0 una aproximaci on inicial; jar TOL > 0. r0 Ax0 b , p0 r0 , k 0; mientras ||rk ||/||r0 || TOL k xk +1
Tr rk k T Ap pk k xk + k pk

rk +1 rk + k Apk r T rk +1 k +1 k +1 Tr rk k pk +1 rk +1 + k +1 pk k k +1

n Tarea
Jos e Luis Morales http://allman.rhon.itam.mx/jmorales An alisis aplicado. Ax = b . Gradiente conjugado.

Teor a de GC

Teorema 5.3 Propiedades del algoritmo GC gen{r0 , . . . , rk } = gen{r0 , Ar0 , . . . , Ak r0 }

gen{p0 , . . . , pk } = gen{r0 , Ar0 , . . . , Ak r0 }

Teorema 5.4 Si A tiene r valores propios distintos entonces GC converge en a lo m as r iteraciones.

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.

Base de la prueba del Teorema 5.4

xk +1 = x0 + 0 p0 + 1 p1 + + k pk
(A)r0 = x0 + Pk

= x0 + 0 r0 + 1 Ar0 + + k Ak r0

||xk +1 x ||2 A = (xk +1 ) (x )

(A)r0 x ||2 = ||x0 + Pk A

= arg min ||x0 + Pk (A)r0 x ||2 Pk A Pk

(A)A](x0 x ) xk +1 x = [I + Pk
Jos e Luis Morales http://allman.rhon.itam.mx/jmorales An alisis aplicado. Ax = b . Gradiente conjugado.

An alisis con valores y vectores propios

A=
i =1

i vi viT ,

Avi = i vi ,
n

i = 1, . . . , n

x0 x = ||xk +1 Estimar x ||2 A

Pk 1i n

i vi
i =1

min max [1 + i Pk (i )]2 ||x0 x ||2 A min max [1 + i Pk (i )]2 .

Pk 1i n

Jos e Luis Morales http://allman.rhon.itam.mx/jmorales

An alisis aplicado. Ax = b . Gradiente conjugado.