GRADIENTE CONJUGADO

Introducción

Como sabemos entre los métodos iterativos podemos encontrar:

MÉTODOS ITERATIVOS ESTACIONARIOS
MÉTODOS ITERATIVOS ESTACIONARIOS:
-Hacen uso de información evaluada en cada iteración que les permite obtener la solución de
modo dinámico

-Estos métodos suelen ser más eficientes que los estacionarios

-Contienen los métodos basados en subespacios de Krylov

El método del gradiente conjugado es un caso particular del método de descenso; el cual, en
su forma iterativa, es el más utilizado para la resolución de grandes sistemas de ecuaciones
lineales.

Este método puede ser desarrollado de dos maneras, como un método iterativo o como un
método directo.

MÉTODO DIRECTO:
Tenemos n direcciones conjugadas entre si respecto a A que forman una base del espacio
vectorial real de dimensión (ya que, al ser conjugados, son linealmente independientes).

En definitiva, el método del gradiente conjugado se basará en encontrar direcciones

conjugadas respecto a A en un espacio vectorial real de dimensión n.

El método de gradiente conjugado (CGM) se aplica a la ecuación Au = b, cuando A es

positiva denida y simétrica.
La idea básica en que descansa el método del gradiente conjugado consiste en construir una
base de vectores ortogonales y utilizarla para realizar la búsqueda de la solución en forma
más eciente
El método del gradiente conjugado necesita muy poca memoria para ser realizado, lo que lo
convierte en un gran método cuando la matriz del sistema es simétrica y definida positiva.

Para cada iteración del algoritmo básico (sin precondicionador ni condición de convergencia)
es necesario realizar un producto matriz-vector, tres actualizaciones vectoriales y dos
productos escalares entre vectores.
Basado en subespacios de Krylov.
No requiere una factorización de la matriz, ni es dependiente de parámetros definidos por el
usuario, como sucede con otros métodos iterativos
El método del gradiente conjugado se puede utilizar también para resolver los problemas de
optimización​ sin restricciones como la​ ​minimización de la energía​.

Los métodos de direcciones conjugadas se desarrollan inicialmente para minimización de

funciones cuadráticas, aunque es posible utilizarlos para minimizar en general funciones no
lineales, aplicándolos de forma iterativa a los desarrollos de Taylor de segundo orden de las
funciones a minimizar

El método del ​Gradiente Conjugado puede considerarse como un método intermedio entre el
Descenso del Gradiente y el método de Newton. Viene motivado por el deseo de acelerar la
convergencia, habitualmente lenta, obtenida con el Descenso del Gradiente, y a la vez evitar
los requisitos de computación asociados a la evaluación, almacenamiento e inversión del
Hessiano, como requiere el método de Newton.

En este algoritmo de entrenamiento la búsqueda se realiza a lo largo de direcciones

conjugadas, lo que normalmente produce una convergencia más rápida que las direcciones
obtenidas con el Descenso del Gradiente. Dos direcciones, u y ​v se dicen conjugadas respecto
de una matriz ​A si u^[t] Av=0. En el caso que nos ocupa estas direcciones se conjugan con
respecto a la matriz Hessiana.

El método del Gradiente Conjugado construye una sucesión de direcciones de entrenamiento

dada por:

di​+1=​gi​+1+​diγi

Donde ​γ se denomina ​parámetro conjugado,​ y hay diferentes maneras de calcularlo. Dos de

las más utilizadas se deben a ​Fletcher y Reeves, y a Polak y Ribiere . Pero sea cual sea la
forma, la dirección de entrenamiento se restablece periódicamente a la negativa del gradiente
para evitar la acumulación de errores en las aproximaciones.

Los valores de los parámetros de la función se calculan entonces con la forma habitual:

wi​+1=​wi+
​ ​diν

Este método ha demostrado ser más eficaz que el de Descenso del Gradiente, y como no
requiere el cálculo del Hessiano también se recomienda cuando tenemos redes neuronales
muy grandes.La siguiente figura muestra una comparativa del comportamiento del Descenso
del Gradiente usual (verde) frente al comportamiento del Gradiente Conjugado (rojo).
Este método localiza más fácilmente el mínimo que el gradiente descendente, se basa en
direcciones conjugadas.

Este método acumula información de las conformaciones anteriores, dirigiendo el

movimiento posterior de minimización.

En este método encontramos dos algoritmos muy populares que son conocidos como:
● Algoritmo de Fletcher-Reves
● Algoritmo de Polak-Ribiere
Estos convergen con mayor rapidez .