Processo estocático

UNIVERSIDADE DO ESTADO DO RIO DE JANEIRO
Instituto de Matemática e Estatística
LISTA DE EXERCÍCIOS: Processos Estocásticos
PROF: André Diniz

I

Exercício 1
Considere uma cadeia de Markov de três estados, com a seguinte matriz transição de probabilidade:  0,3 0,7 0,0
P = 0,0 0,6 0,4


0,4 0,1 0,5


A probabilidade de o sistema estar em cada estado, no instante t=0, é dada pelo vetor µ={0,1;0,3;0,6}. A função retorno f(x) associada aos estados da cadeia é dado pelo vetor
{10;20;30}.
Pede-se:
(a) Desenhe o diagrama de transição de estados dessa cadeia
(b) Se Xn indica o estado que o sistema se encontra no passo n, calcule as seguintes probabilidades: P[ X 2 = b X 1 = c]
P[ X 3 = b X 1 = c]
P[ X 3 = b X 1 = c, X 0 = c]
P[ X 2 = b]

P[ X 1 = b, X 2 = c, X 0 = c]
(c) Calcule a matriz de probabilidade de transição três passos à frente;
(d) Calcule a probabilidade de o sistema estar em cada estado ao final do instante t=2, considerando que o estado inicial é dado pelo vetor µ indicado acima
(e) Qual o valor esperado dessa função f avaliada no final do instante t+3, dado que o sistema se encontra no estado 2 ao final do instante t?
(f) Utilizando a mesma função retorno f, calcule a ganho médio em t+1, sabendo-se que as probabilidades do sistema se encontrar em cada estado no instante t são dadas pelo vetor µ indicado acima;

Lista de Exercícios de Processos Estocásticos I – Cadeias de Markov

1

Exercício 2

Considere uma cadeia de Markov com espaço de estados {a,b,c} e cuja matriz de transição é dada por:
 0,3 0,4 0,3
P = 1,0 0,0 0,0 


0,0 0,3 0,7 



(a) Desenhe o diagrama de transição de estados dessa cadeia.
Se Xn indica o estado do sistema ao final do passo n, calcule:
(b) P[ X 2 = a X 1 = b]
(c) P[ X 2 = c X 1 = b, X 0 = c]
(d) P[ X 35 = c X 33 = a ]
(e) P[ X 200 = a X 0 = b] (utilize probabilidades em estado permanente para responder isso)

Exercício 3

Seja X uma cadeia de