Teoria da informação

Engenharia Elétrica e Computação
Teoria da Informação
Prof. Joel Guilherme

Teoria da Informação
Códigos e Criptografia
1. Conceito e Medida da Informação

Prof. Joel Guilherme e-mail: [e-mail]

Engenharia Elétrica e Computação
Teoria da Informação
Prof. Joel Guilherme

1.1 Quantidade de Informação e Entropia
Aplicações da Teoria da Informação:
Teoria da Comunicação – Shannon demonstrou em 1940 que é possível se transmitir informação com uma taxa de erro praticamente nula, desde que a taxa de transmissão seja inferior à Capacidade do canal, que depende apenas das características do ruído no canal. Shannon demonstrou que qualquer processo que possa ser modelado estatisticamente tem uma complexidade irredutível que limita o nível de compressão para sua representação. Este limite ele denominou de entropia, em alusão ao mesmo termo utilizado na termodinâmica.
Ciência da Computação – Kolmogorov, Chaitin e Solomonoff estabeleceram a ideia de definir a complexidade de uma cadeia de dados pelo comprimento do menor programa de computador capaz de computar esta cadeia de dados. Pode-se verificar que existe uma correlação entre a complexidade de Kolmogorov, K, e a entropia definida por Shannon, H. A complexidade de Kolmogorov leva consistentemente a um procedimento de inferência de dados.

Engenharia Elétrica e Computação
Teoria da Informação
Prof. Joel Guilherme

1.1 Quantidade de Informação e Entropia
Aplicações da Teoria da Informação:
Física (Termodinâmica) – A mecânica estatística é o lugar de nascimento da entropia. A segunda lei da termodinâmica pode ser expressa como o princípio de que a entropia tem a tendência de aumentar, até atingir um limite (em um sistema fechado). De outra forma, ela afirma que em um sistema fora de equilíbrio térmico ocorrerá transferência de calor do mais quente para o mais frio, até que seja alcançado o equilíbrio.
Economia – Pode-se fazer um paralelo entre investimentos em um