Cadeias de Markov

IFF – Instituto Federal Fluminense
Engenharia de Controle e Automação Industrial
Álgebra Linear
1º Período - turma 1021
Professor (a): Heraldo

Cadeia de Markov

DEFINIÇÃO: Uma cadeia de markov ou processo de markov é um processo no qual a probabilidade de um sistema estar em determinado estado em um dado período de observação depende apenas do estado no período de observação imediatamente anterior.

Em outras palavras, quando se tem um sistema que em cada instante esta em apenas um entre um número finito de estados. Por exemplo: O tempo em uma determinada região pode estar chuvoso ou seco; uma pessoa pode ser fumante ou não fumante; pode-se frequentar ou não a universidade. Ao longo do tempo, o sistema pode mudar de um estado para o outro e supondo que o sistema é observado em períodos fixos de tempo.

Em muitas aplicações se conhece o estado atual do sistema e quer se prever o estado final no próximo período de observação ou em algum período futuro, para isto se aplica a cadeia de markov.

Matriz de transição da cadeia de markov

Detona-se por 1, 2,... k os k estados possíveis de uma cadeia de Markov. A probabilidade de um sistema estar no estado i em qualquer observação se não observação imediatamente anterior estava no estado j, é denotada por p i j e é chamada de probabilidade de transição do estado j ao estado i. A matriz P = [ p i j ] é chamada a matriz de transição da cadeia de markov. Por exemplo, uma cadeia de marcov de três estados, a matriz de transição tem o formato: Estado precedente

1 2 3
P11 P12 P13 1 P21 P22 P23 2 Novo Estado
P31 P32 P33 3

EXEMPLO 1: Assunto: Matriz de transição.

Uma locadora de automóveis tem três lojas de atendimento denotadas por 1, 2, 3. Um cliente pode