Método dos mínimos quadrados

MÉTODO DOS MÍNIMOS QUADRADOS

CONCEITO:
O Método dos Mínimos Quadrados é uma técnica de otimização matemática que procura encontrar o melhor ajustamento para um conjunto de dados tentando minimizar a soma dos quadrados das diferenças entre a curva ajustada e os dados (tais diferenças são chamadas resíduos).
Um requisito implícito para o método dos mínimos quadrados trabalhar é que os erros em cada medida sejam distribuídos aleatoriamente com função densidade gaussiana, e que os resíduos sejam independentes. O Teorema Gauss-Markov garante (embora indiretamente) que o estimador de mínimos quadrados EMQ é o estimador não-viesado de variância mínima linear na variável resposta.
A técnica dos mínimos quadrados é comumente usada em ajuste de curvas. Muitos outros problemas de optimização podem também ser expressos na forma dos mínimos quadrados, por minimização (energia) ou maximização (entropia).
O método dos mínimos quadrados ordinários é a forma de estimação mais amplamente utilizada na econometria. Consiste em um estimador que minimiza a soma dos quadrados dos resíduos da regressão, de forma a maximizar o grau de ajuste do modelo.

FORMULAÇÃO DO PROBLEMA:
Suponha que o conjunto de dados consiste dos pontos (xi, yi) com i = 1, 2, ..., n. Nós desejamos encontrar uma função f tal que

Para se obter tal função, nós supomos que a função f é de uma forma particular contendo alguns parâmetros que necessitam ser determinados. Por exemplo, supor que ela é quadrática, significa que f(x) = ax² + bx + c, onde a, b e c não são conhecidos. Nós agora procuramos os valores de a, b e c que minimizam a soma dos quadrados dos resíduos:

RESOLVENDO O PROBLEMA DOS MÍNIMOS QUADRADOS:

No exemplo acima, f é linear nos parâmetros a, b e c. O problema simplifica consideravelmente neste caso e reduz-se essencialmente a um sistema de equações lineares (mínimos quadrados lineares). O problema é mais difícil se f não é linear nos parâmetros a serem