metodo do gradiente

Os métodos do tipo gradiente para resolver o sistema Ax = b têm como ideia básica minimizar a função de x seguinte: F(x) = min F(x) =
A matriz A deve ser simétrica (AT= A) e definida positiva (, para x ≠ 0)
Como exemplo:

E sendo A simétrica temos:

Definição de gradiente:
No cálculo vetorial o gradiente ou vetor gradiente é um vetor que indica o sentido e a direção de maior alteração no valor em uma função.
Do cálculo sabemos que um ponto P = (x1, x2) tal que o grad F(P) = 0 é chamado de ponto estacionário de F(x).

E seja uma matriz A dada por:

Se A(P): definida positiva, então P é ponto de mínimo; se A(P): definida negativa, então P é ponto de máximo ou se A(P): indefinida, então P é ponto de sela.
Como para esse método A deve ser simétrica e positiva, logo, um ponto estacionário P da matriz em que grad(P) = 0, é um ponto de mínimo.
Expressando o exemplo anterior:

Onde é formado o sistema linear:

Desse modo grad F(x) = 0, significa Ax = b a solução do sistema de equações lineares minimiza a função quadrática. E como grad F(x) = Ax – b = 0 é utilizado para minimizar a função, no então para grad F(x) = Ax – b ≠ 0, conseguimos obter a diferença entre b e Ax gerando o resíduo da solução de x que é dado por: - grad F(x) = Ax – b = r.