TEORIA

Teoria da Informação: informação, entropia e redundância.

TEORIA DA INFORMAÇÃO
 A Teoria da Informação ou Teoria matemática da

comunicação é um ramo da teoria da probabilidade e da matemática estatística que lida com sistemas de comunicação, transmissão de dados, criptografia, codificação, teoria do ruído, correção de erros, compressão de dados, etc.
 Ela não deve ser confundida com tecnologia da

informação e biblioteconomia.
 A teoria não se preocupa com a semântica (construção

de sentido) dos dados, mas pode envolver aspectos relacionados com a perda de informação na compressão e na transmissão de mensagens com ruído no canal.

 Claude

Elwood
Shannon
(1916-2001), matemático e engenheiro da companhia norteamericana Bell System Technical Journal, é conhecido como "o pai da teoria da informação".

 Em 1948, sua teoria foi a primeira a considerar

comunicação como um problema matemático rigorosamente embasado na estatística e deu aos engenheiros da comunicação um modo de determinar a capacidade de um canal de comunicação em termos de ocorrência de bits.

ENTROPIA
 A quantidade de desordem de um sistema é

representada pela sua entropia: quanto mais organizado o sistema, menor é a sua entropia.
 Esse crescimento da entropia é outra expressão da

segunda lei da termodinâmica: em um sistema isolado (que não troca energia com o exterior), a entropia nunca decresce, podendo apenas crescer ou permanecer constante.

 A Teoria da Informação, que estuda aquilo que é

transmitido pela comunicação, pesquisou e descobriu que quanto menos informações transmitidas por um sistema de comunicação (impresso, radiofônico, televisivo ou computacional) maior será sua entropia, ou seja, a quantidade de desordem de um sistema.
 Isso porque quanto maior o número de arranjos

possíveis e formas diferentes de comunicar informações maior será o grau de compreensão e ordem da mensagem

• A quantidade de