mARKOV

Processos Estocásticos
Um processo estocástico é uma coleção de variáveis aleatórias(X(t)) indexadas por elementos t pertencentes a um conjunto T. Frequentemente T é composto pelo conjunto dos inteiros não-negativos, apesar de poder assumir outros conjuntos.
Podemos dizer que os processos estocásticos descrevem procedimentos de um sistema que opera durante um intervalo de tempo, dessa forma, a variável aleatória X(t) representa o Estado do sistema no parâmetro t.
Vale lembrar que uma variável aleatória é uma função (na matemática) que associa elementos do espaço amostral a valores numéricos, ou seja, . Além disso, representamos estas variáveis com letras maiúsculas e suas ocorrências com letras minúsculas.
Estes processos podem ser classificados:
a) Em relação ao Estado:
Estado Discreto(cadeia): X(t) é definido sobre um conjunto finito.
Estado Contínuo(sequência): X(t) caso contrário.

b) Em relação ao Tempo:
Tempo Discreto: t é finito.
Tempo Contínuo: t caso contrário.

Processo Markoviano
O processo de Markov é um tipo especial de processo estocástico em que o estado futuro depende apenas do estado presente e não dos estados passados. Este processo é conhecido também por “memoryless process”, pelo fato de que os estados passados são “esquecidos”.
É possível mostrar o processo de Markov através da seguintes expressões:
Se Xt assumir valores discretos:
P (Xt =x | Xtn = xn , Xtn-1 = xn-1 , ... , Xt0 = x0) = P (Xt = x | Xtn = xn)
Se Xt assumir valores contínuos:
P (Xt ≤ x | Xtn = xn , Xtn-1 = xn-1 , ... , Xt0 = x0) = P (Xt ≤ x | Xtn = xn)
Um conceito muito importante dentro do estudo de processos de Markov é sobre “estados”, que são propriedades em comum entre indivíduos ou objetos. Temos como exemplo uma população que migra de uma região para a outra, podendo encontrar-se em um dos seguintes estados: população empregada, população ociosa.
Os Processos Markovianos sempre envolvem a variável ‘tempo’, podendo ser da forma contínua ou discreta.