Entropia e Compressão

V ENCONTRO DE PROCESSOS ESTOCÁSTICOS – POLI – UPE – 2015.01

Entropia e Compressão
Maria Renata e Victor Macedo

Resumo — Este trabalho/artigo introduz os conceitos de medidas de informação e desempenho com base do estudo da entropia aos alunos da disciplina de processos estocásticos. Seu objetivo é, além de introduzir os conceitos de entropia da informação, fazer uma análise do comportamento do código de
Huffman associado as fontes binárias e suas expansões.

O conjunto de probabilidades deve satisfazer a condição,

Palavras-Chave — Entropia da informação, Huffman, fontes binárias, códigos.

Se a probabilidade pk = 1 e pi = 0 para todo i ≠ k, então não há surpresa e, portanto, não há informação quando o símbolo sk é emitido, visto que se sabe, que mensagem é emitida pela fonte. Por outro lado, se os símbolos da fonte ocorrem com diferentes probabilidades, tão maior será a surpresa (maior incerteza) e, maior será a quantidade de informação quanto menor for a probabilidade de ocorrência de um símbolo.
Define-se a quantidade de informação que se ganha após observar o evento S=sk, que ocorre com probabilidade P(S=s k)
= P(sk) = pk, como a função logarítmica,

I. INTRODUÇÃO
A teoria da informação estuda as medidas de informação e suas propriedades e aplicações em comunicações. Ela foi desenvolvida para compressão de dados, para transmissão e armazenamento destes. Se tratando de sistemas de comunicações digitais podemos questionar sobre a eficiência com que a informação de uma determinada fonte é representada e a taxa com que a informação pode ser transmitida confiavelmente. Fornece limites para: o número mínimo de bits por símbolo requerido para representar completamente uma fonte e a máxima taxa a que uma comunicação confiável pode ser realizada por meio do canal.
Limites de desempenho para sistemas de comunicação digital são obtidos com base da entropia, um conceito muito importante da Teoria da Informação.
II.

ENTROPIA

A. Incerteza, Informação e Entropia
A