Faca

Teoria de Shannon
Claude Elwood Shannon nasceu nos USA em 1916. Formou-se em Matemática e Engenharia Elétrica na Universidade de Michigan. Trabalhou a maior parte de sua vida nos Laboratórios Bell e, após uma rapidíssima vida de professor, aposentou-se com cerca de 50 anos. Ainda é vivo e ativo intelectualmente ( poderíamos dizer que, principalmente, financeiramente uma vez que tem dedicado-se a desenvolver programas de análise do sistema financeiro de Wall Street e com os quais acabou formando um imenso capital ). Apesar de sua vida extremamente reclusa e estar afastado dos meios académicos é um dos mais famosos matemáticos vivos.
No processo de desenvolvimento de uma teoria da comunicação que pudesse ser aplicada por engenheiros eletricistas para projetar sistemas de telecomunicação melhores, Shannon definiu uma medida chamada de entropia. A entropia mede-se geralmente dividindo a quantidade de calor (em calorias) necessária a uma determinada mudança de estado pela temperatura absoluta de alimentação do calor, e somando depois as diversas quantidades discretas assim obtidas. Os enunciados relativos à informação nos sistemas informativos fechados e quantitativos de Shannon são equações de probabilidade. O terreno comum da probabilidade justifica a semelhança entre uma das formulações da equação da entropia na termodinâmica estatística e a fórmula de Shannon respeitante à informação média de um sistema [Shannon e Weaver 1949]. A teoria da informação estatística e a termodinâmica estatística são, com efeito, tão afins que é duvidoso saber qual delas se subordina à outra. Parece provável que ambas sejam, na realidade, expressões particulares de uma teoria mais generalizada.
A Teoria de Informação que Shannon construiu, contudo, transcende em muito as aplicações em comunicações. Shannon mostrou que aos elementos básicos do trabalho científico, massa e energia, precisamos acrescentar um terceiro: a informação. Mais do que isso, usando a Teoria das Probabilidades,