Bayes

Aprendizagem Bayesiana

1

Sumário
• O teorema de Bayes
– Motivação – O Bayes-óptimo – O erro de Bayes

• Algoritmos de Classificação derivados do teorema de Bayes
– Naive- Bayes – Funções discriminantes
• Discriminante Linear • Discriminante Quadrático • Discriminante Logistico

• Desenvolvimentos
2

1

O teorema de Bayes - Introdução
• Considere um problema de diagnóstico médico:
– Duas alternativas (exclusivas)
• O doente tem um determinado tipo de cancro • O doente não tem um determinado tipo de cancro

• É sabido que a probabilidade de observar uma pessoa com este tipo de cancro é 0.008. • Existe um teste de laboratório que dá apenas um indicação imperfeita sobre a presença (ausência) do cancro.
– O teste foi negativo em 97% de casos em que o doente não tinha cancro. – O teste foi positivo em 98% de casos em que o doente tinha cancro.
P(sim) = 0.008 P(+ | sim) = 0.98 P(- | sim) = 0.02 P(não) = 0.992 P(+ | não) = 0.03 P(- | não) = 0.97

• Para um novo doente o teste é positivo. Qual deverá ser o diagnóstico?
– P(sim | +) – P(não | +)
3

O teorema de Bayes
• O teorema de Bayes responde a esta questão: p ( Decisão i | x ) = p ( x | Decisão i ) p ( Decisão i ) p( x)

– A regra de Bayes mostra como alterar as probabilidades a priori tendo em conta novas evidências de forma a obter probabilidades a posteriori.

• Sendo conhecidas as probabilidades a priori e as probabilidades condicionais, a regra de decisão é: argmax p(Decisãoi|x) = argmax [p(Decisãoi) * p(x|Decisãoi)]
P(sim | +) = P(sim)*P(+ | sim) P(não | +) = P(não)*P(+ | não) = 0.98 * 0.008 = 0.0078 = 0.03*0.992 = 0.0298

Temp 4

2

O erro de Bayes

5

O teorema de Bayes
• A aplicação do teorema de Bayes como classificador requer:
– Conhecer as probabilidades a priori p(decisãoi) – As probabilidades condicionais p(x|decisãoi)

• Este classificador é óptimo no sentido em que, em média, nenhum outro classificador pode obter melhores resultados usando a mesma