cadeia de markov

CADEIAS DE MARKOV

1. Introdução

Antes de introduzir a ideia das Cadeias de Markov é importante expor as características básicas um conceito mais abrangente: o processo estocástico.

Segundo Fogliatti e Matos (2007), um processo estocástico

(1.1)

é um família de variáveis aleatórias X(t) que descreve a evolução de alguma característica X do processo sob análise ao longo do tempo t ϵ U. O conjunto U é normalmente composto de números inteiros não negativos, e X(t) representa uma característica mensurável de interesse geralmente num instante de tempo t.

Ainda de acordo os autores, o espaço Ε é o conjunto de valores que a variável aleatória X(t) pode assumir e o espaço U é o conjunto de valores assumidos pela variável t (tempos ou índices).

Os Processos Estocásticos podem ser classificados em relação ao conjunto E (estados), como estado discreto (cadeia) quando X(t) é definido sobre um conjunto enumerável ou finito; ou estado contínuo (seqüência), caso contrário. Já em relação ao conjunto U (tempo), pode ser classificado como tempo discreto quando t é finito ou enumerável; ou tempo contínuo, caso contrário.

Para ilustrar melhor o conceito, apresentamos o exemplo disponível em Alves et al (2006): suponha o tráfego de dados em uma rede local de computadores que se encontra interligada à rede Internet. Neste sistema, mensagens eletrônicas são recebidas e enviadas enquanto são feitos downloads de arquivos. A taxa de transferência de bits por unidade de tempo num dado servidor desta rede é uma variável incerta que depende da intensidade de uso do sistema pelos usuários conectados naquele momento. Podemos, neste sistema, caracterizar a variável aleatória X(t) como a velocidade de transferência de dados em bits/s, onde t é o instante de tempo pertencente ao intervalo T = [0,∞) . O espaço de probabilidade neste exemplo corresponde à função densidade de probabilidade que rege o comportamento da variável aleatória X(t) , por exemplo, uma distribuição