Teoria da informacao

Trabalho de Introdução à Teoria da Informação

Codificação de Huffman e Shannon-Fano-Elias.

Professor: Élvio
Alunos:
- David Freitas Moura Mota 0303531 - Cincinato Furtado - Pierre Khalil

Índice

1 – Objetivo 2 – Introdução Teórica 3 – Implementação 4 – Resultados

1 – Objetivo

Implementar, mediante a linguagem de programação MATLAB, os algoritmos de SHANNON-FANO-ELIAS e HUFFMAN para a codificação de fonte com o alfabeto q-ário.

2 – Introdução Teórica

2.1 – Codificação de SHANNON-FANO

A codificação de Shannon-Fano é um método de estatístico de compressão sem perda de dados que gera códigos de tamanho variável para cada símbolo dos conjunto de dados a ser comprimido de acordo com sua probabilidade de ocorrência. Este método foi descrito em 1948 por Claude Shannon em seu famoso artigo "A Mathematical Theory of Communication" e atribuído à Robert Fano. O método é anterior ao de codificação de Huffman, e apesar de bastante eficiente e prático, gera resultados sub-ótimos. A construção do código a ser usado para a compressão segue um algoritmo bastante simples. Inicia-se com o levantamento das probabilidades de ocorrência de cada símbolo. Para efeitos práticos, a contagem do número de ocorrências de cada símbolo nos dados a serem comprimidos é o suficiente. Ordena-se então esta lista de probabilidades em ordem decrescente e separa-se a lista em duas partes de forma que cada uma dessas partes tenha aproximadamente a mesma probabilidade (i.e. a soma da probabilidade de cada símbolo de uma parte seja o mais próximo possível de 50%). A cada uma dessas partes atribui-se o primeiro dígito como sendo 0 (primeira parte) ou 1 (segunda parte). A cada metade que tiver mais de um dígito aplica-se o mesmo processo, concatenando os dígitos atribuídos em cada etapa. A seqüencia de dígitos que cada símbolo obteve nesse processo (os dígitos correspondentes a cada metade de que ele fez