Bayes

Disponível somente no TrabalhosFeitos
  • Páginas : 12 (2930 palavras )
  • Download(s) : 0
  • Publicado : 26 de dezembro de 2012
Ler documento completo
Amostra do texto
Aprendizagem Bayesiana

1

Sumário
• O teorema de Bayes
– Motivação – O Bayes-óptimo – O erro de Bayes

• Algoritmos de Classificação derivados do teorema de Bayes
– Naive- Bayes – Funções discriminantes
• Discriminante Linear • Discriminante Quadrático • Discriminante Logistico

• Desenvolvimentos
2

1

O teorema de Bayes - Introdução
• Considere um problema de diagnósticomédico:
– Duas alternativas (exclusivas)
• O doente tem um determinado tipo de cancro • O doente não tem um determinado tipo de cancro

• É sabido que a probabilidade de observar uma pessoa com este tipo de cancro é 0.008. • Existe um teste de laboratório que dá apenas um indicação imperfeita sobre a presença (ausência) do cancro.
– O teste foi negativo em 97% de casos em que o doente não tinhacancro. – O teste foi positivo em 98% de casos em que o doente tinha cancro.
P(sim) = 0.008 P(+ | sim) = 0.98 P(- | sim) = 0.02 P(não) = 0.992 P(+ | não) = 0.03 P(- | não) = 0.97

• Para um novo doente o teste é positivo. Qual deverá ser o diagnóstico?
– P(sim | +) – P(não | +)
3

O teorema de Bayes
• O teorema de Bayes responde a esta questão:
p ( Decisão i | x ) = p ( x | Decisão i ) p (Decisão i ) p( x)

– A regra de Bayes mostra como alterar as probabilidades a priori tendo em conta novas evidências de forma a obter probabilidades a posteriori.

• Sendo conhecidas as probabilidades a priori e as probabilidades condicionais, a regra de decisão é:
argmax p(Decisãoi|x) = argmax [p(Decisãoi) * p(x|Decisãoi)]
P(sim | +) = P(sim)*P(+ | sim) P(não | +) = P(não)*P(+ | não) =0.98 * 0.008 = 0.0078 = 0.03*0.992 = 0.0298

Temp 4

2

O erro de Bayes

5

O teorema de Bayes
• A aplicação do teorema de Bayes como classificador requer:
– Conhecer as probabilidades a priori p(decisãoi) – As probabilidades condicionais p(x|decisãoi)

• Este classificador é óptimo no sentido em que, em média, nenhum outro classificador pode obter melhores resultados usando a mesmainformação. • O erro deste classificador estabelece um mínimo teórico à capacidade de generalização de qualquer classificador: o erro do Bayes óptimo.
– È proporcional à área da superfície a negro. – Possibilidade de gerar conjuntos de dados onde é conhecido o erro mínimo.

• Na pratica estas probabilidades são desconhecidas.
– Estimativas fiáveis destas probabilidades a partir de um conjunto deexemplos, requer um numero infinito de exemplos.
• O(kp) sendo p o nr.de variáveis e k o nr. de valores das variáveis.
6

3

O teorema de Bayes
• Como ultrapassar o problema?
– Assumindo simplificações no calculo de p(x|decisão).

• Dependente das assumpções, são obtidos diferentes classificadores:
– Assumindo que os atributos são independentes dada a decisão.
• Naive Bayes

–Assumindo que p(x|decisão) segue uma determinada função densidade de probabilidade.
• Funções Discriminantes.

7

O naive Bayes
• Assumindo que o valor dos atributos são condicionalmente independentes dada a classe: r P ( x | Ci ) = ∏ P ( x j | Ci )
– Aplicando o teorema de Bayes:
r P (Ci ) P (Ci | x ) = r ∏ P ( x j | Ci ) P( x )

– O termo P(x) pode ser ignorado já que não depende daclasse.
r P(Ci | x ) ∝ P(Ci )∏ P( x j | Ci )

– Para cada classe é calculado um valor proporcional a P(Ci|x).

8

4

O naive Bayes
• Suponha um problema com p variáveis.
– Cada variável pode assumir k valores. – A estimativa da probabilidade conjunta das p variáveis requer estimar kp probabilidades. – Assumindo que as variáveis são condicionalmente independentes dada a classe, requer estimarkp probabilidades.

• O modelo do naive Bayes pode ser expresso de forma aditiva.
– Aplicando logaritmos

r P(Ci | x ) ∝ log( P (Ci )) + ∑ log( P( x j | Ci ))
j

• Salienta a contribuição de cada uma das variáveis para a tomada de decisão

– Considerando apenas duas classes
log p (c1 | x) p (c1) p ( xj | c1) = log + ∑ log p (c 2 | x ) p (c 2) p ( xj | c 2)

9

Exemplo
T po em...
tracking img