Mininos quadrados

Mínimos Quadrados
Em 1809, Carl Friedrich Gauss (1777-1855) publicou um artigo no Werke, 4, 1-93, demonstrando que a melhor maneira de determinar um parâmetro desconhecido de uma equação de condições é minimizando a soma dos quadrados dos resíduos, mais tarde chamado de Mínimos Quadrados por Adrien-Marie Legendre (1752-1833). Em abril de 1810, PierreSimon Laplace (1749-1827) apresenta no memoir da Academia de Paris, ["Mémoire sur les approximations des formules qui sont fonctions de très-grands nombres, et sur leur application aux probabilités (suite)". Mémoires l'Institut 1809 (1810), 353415, 559-565. Oeuvres 12 p.301-345, p.349-353] a generalização a problemas com vários parâmetros desconhecidos.
Um programa de mínimos quadrados sempre começa com a minimização da soma:

(1)

onde chamamos de yo i = valores observados de y yi = valores calculados de y ou seja, mínimos quadrados implica em minimizar os quadrados dos resíduos. Estes resíduos podem ser normalizados pelo número de pontos ou pela soma dos pesos empregados.

Por que este critério é considerado um bom critério e não simplismente minimizar os resíduos ou o cubo dos resíduos? A resposta formal é que os mínimos quadrados são corretos se os resíduos tiverem uma distribuição gaussiana (normal).

Distribuição gaussiana (normal) para uma variável x, com média m e desvio padrão s.
É simples notar que se minimizarmos os resíduos diretamente, um grande resíduo negativo pode ser anulado por um grande resíduo positivo, enquanto que com o quadrado minimizamos os módulos das diferenças.
Suponhamos que temos um conjunto de dados y com uma distribuição normal:
P(y) =

exp

-

y-

e+

é de 68,3%,

onde
P(y) = probabilidade de obter o valor y y = quantidade a ser observada
= valor médio de y
= desvio padrão de y
Por exemplo, a probabilidade de se encontrar uma medida entre a probabilidade de se encontrar uma medida entre -1,5 a probabilidade de se encontrar uma medida entre -2
a