Aprendizado de Máquina - Árvore de decisão

Seminário - IA
Árvore de Decisão

Histórico
● 1966: Hunt e colegas em psicologia usaram métodos de busca exaustiva em árvores de decisão para modelar o aprendizado de conceitos humanos.
● 1977: Breiman, Friedman, e colegas em estatística desenvolveram
Classification And Regression Trees(CART).
● 1979: Primeiro trabalho de Quinlan com proto-ID3 (Induction of DT’s).
● 1984: primeira publicação em massa do software CART (presente atualmente em vários produtos comerciais).
● 1986: Artigo de Quinlan sobre ID3 Variedade de melhorias: tratamento de ruído, atributoscontínuos, atributos com valores desconhecidos, árvores oblíquas (não paralelas aos eixos), etc
● 1993: Algoritmo atualizado de Quinlan: C4.5 release 8 (linguagem C).
Maior poder, heurísticas de controle de overfitting(C5.0); combinando
ADs.

● 1999: J48 (Weka): reimplementação em Java do algoritmo C4.5 release 8.

Árvores de Decisão
● Aprendizagem de árvores de decisão é um dos métodos de aprendizagem mais práticos e mais utilizados para a aprendizagem indutiva. ● É um método para a aproximação de funções de valor discreto

● É um método robusto a ruídos nos dados

Árvores de Decisão
● É um método para aproximar funções alvo de valor discreto, onde a função aprendida é representada por uma árvore de decisão.
● “ rvores de decisão também podem ser representadas
Á
como conjuntos de regras SE–ENTÃO(IF–THEN).

● “ um dos métodos de aprendizagem mais conhecidos
É
● “ plicações: do diagnóstico de imagens médicas a análise
A
de risco de crédito

Árvore de Decisão
● Algoritmo de aprendizado que lida com problemas de classificação (duas ou mais classes) e regressão.
● Árvores de decisão foram desenvolvidas de forma independente por dois grupos:
○ Estatísticos: CART (Breiman);
○ ƒ omunidade de IA: ID3, C4.5 (Quinlan).
C

Quando usar?
● Instâncias são representadas através de pares atributovalor (Ex.: Temperatura - Quente);
● Função tem valores discretos (Ex.: