Modelos Markovianos

Projeto

Compreender a estrutura de modelos de decisão baseados em Cadeias de Markov e desenvolver um exemplo prático de aplicação.

Resumo do projeto

Muitos fenômenos do mundo real requerem a análise do sistema de uma maneira probabilística, ao invés de uma maneira determinística. Modelos Estocásticos estão, cada vez mais, se tornando uma ferramenta importante para o entendimento e avaliações de sistemas complexos em diversos campos, como pesquisas operacionais, ciência da computação, telecomunicações, economia e engenharia em geral. Para sistemas dinâmicos com uma determinada lei probabilística de movimento (fixa), uma modelagem através de uma Cadeia de Markov simples é geralmente suficiente. No entanto, existem processos com incertezas e dinamismo nos quais a mudança de estados pode ser controlada por uma seqüência de ações tomadas ao longo do tempo. Esse tipo de modelagem é um híbrido entre os modelos markovianos de decisão e a programação dinâmica.

Pode-se resumir o projeto, de maneira geral, nas seguintes etapas.

1) Compreender a estrutura de um modelo probabilístico com as características descritas acima

2) Modelar um sistema seguindo essa estrutura;

3) Implementar um algoritmo que tome decisões baseadas nas variáveis do processo de modo a minimizar uma função custo.

Objetivos da primeira etapa

Para a primeira etapa do projeto, que corresponde às atividades realizadas até o término da disciplina PTC2530, podemos destacar duas principais metas que serão mostradas na 3ª apresentação desta disciplina:

1) Conclusão da aplicação do algoritmo Policy Iteration para um modelo para uma planta com dois geradores

Descrição Resumida do Problema dos Geradores

Planta possui dois geradores com diferentes capacidades C1 = 40, C2 = 60; (kWh)

Custo para ligar os geradores S1 = 500, S2 = 300;

Custo de operação dos geradores r1 = 1000, r2 = 1100;

A demanda de eletricidade varia durante o dia (24 horas divididas em