Redes neurais artificiais- métodos de otimização

Universidade Federal de Juiz de Fora Programa de Pós-Graduação em Engenharia Elétrica

Alexandre Menezes Teixeira

MÉTODOS NUMÉRICOS PARA OTIMIZAÇÃO
CAUCHY, NEWTON E GAUSS-NEWTON

UFJF – Mestrado em Engenharia Elétrica – Área de Sistemas Eletrônicos Inteligência Computacional – Redes Neurais Artificiais

1- APRESENTAÇÃO
Neste relatório serão apresentados os métodos de Cauchy, Newton e Gauss-Newton com o objetivo de mostrar suas principais características, vantagens e desvantagens, sendo feita também uma comparação da performance de cada um destes métodos. Serão mostrados resultados de simulações feitos no matlab que justificam as análises feitas. Ao final do relatório haverá uma conclusão de tudo que foi abordado no mesmo.

2- INTRODUÇÃO
No campo da Matemática, podemos dizer que o método de Newton é um método iterativo para encontrar as raízes de uma equação. Quando voltamos nosso foco para problemas de otimização, temos que o Método de Newton é especializado em encontrar pontos estacionários de funções diferenciáveis, que são os zeros da função derivada. O método de Gauss-Newton, considerado uma modificação do método de Newton, pode ser usado para resolver problemas envolvendo non-linear least squares. Ao contrário do Método de Newton, seu algoritmo só pode ser usado para minimizar o somatório dos valores das funções quadráticas. Porém, possui uma vantagem importante, pois não é necessário calcular a derivada de segunda ordem, fornecendo velocidade ao método. O método de Cauchy, também conhecido como método do “Gradient Descent” ou “Steepest Descent” é um dos métodos mais antigos, e é o método mais simples dentre a família dos métodos de otimização por gradiente. É um algoritmo de otimização de primeira ordem, onde a escolha da direção do mínimo da função deve ser em direção oposta ao gradiente. A figura abaixo auxilia na comparação entre o método de Newton (em vermelho) e método de Cauchy para a minimização da função custo.

MÉTODOS DE OTIMIZAÇÃO