Cadeias de Markov

Modelagem e Simulação - Cadeias de Markov

Cadeias de Markov
1. Introdução
Nestas notas de aula serão tratados modelos de probabilidade para processos que evoluem no tempo de maneira probabilística. Tais processos são denominados Processos
Estocásticos.
1.2. Processos Estocásticos
Um Processo Estocástico é definido como uma coleção de variáveis randômicas
(X(t)) indexadas por um parâmetro t pertencente a um conjunto T. Freqüentemente T é tomado para ser o conjunto dos inteiros não-negativos (porém, outros conjuntos são perfeitamente possíveis) e X(t) representa uma característica mensurável de interesse no tempo t. Exemplificando, X(t) pode representar o nível de estoque de um produto no fim da semana t.
Processos Estocásticos são de interesse para descrever o procedimento de um sistema operando sobre algum período de tempo, com isso, em termos formais, a variável randômica X(t) representa o estado do sistema no parâmetro (geralmente tempo) t.
Portanto, pode-se afirmar que X(t) é definido em um espaço denominado Espaço de
Estados.
Os Processos Estocásticos podem ser classificados como:
a) Em relação ao Estado
Estado Discreto (cadeia): X(t) é definido sobre um conjunto enumerável ou finito.
Estado Contínuo (seqüência): X(t) caso contrário.
b) Em relação ao Tempo (Parâmetro)
Tempo Discreto: t é finito ou enumerável.
Tempo Contínuo: t caso contrário.
Exemplos:
1. Número de usuários em uma fila de banco em um determinado instante: Estado
Discreto e Tempo Contínuo.
2. Índice pluviométrico diário: Estado Contínuo e Tempo Discreto.
3. Número de dias chuvosos: Estado Discreto e Tempo Discreto.
Existem vários "tipos" de Processos Estocásticos, porém, nestas notas de aula será apenas abordado um tipo de Processo Estocástico denominado Processo Markoviano.

Notas de Aula - Fernando Nogueira

1

Modelagem e Simulação - Cadeias de Markov

Andrei Andreyevich Markov (*1856, Ryazan, Russia; 1922, São Petersburgo, Russia).

2. Processos