Learning Naive Bayes Tree for Conditional Probability Estimation

Na\uefve Bayes Tree uses decision tree as the general structure and deploys na\uefve Bayesian classifiers at leaves. The intuition is that na\uefve Bayesian classifiers work better than decision trees when the sample data set is small. Therefore, after several attribute splits when constructing a decision tree, it is better to use na\uefve Bayesian classifiers at the leaves than to continue splitting the attributes. In this paper, we propose a learning algorithm to improve the conditional probability estimation in the diagram of Na\uefve Bayes Tree. The motivation for this work is that, for cost-sensitive learning where costs are associated with conditional probabilities, the score function is optimized when the estimates of conditional probabilities are accurate. The additional benefit is that both the classification accuracy and Area Under the Curve (AUC) could be improved. On a large suite of benchmark sample sets, our experiments show that the CLL tree outperforms the state-of-art learning algorithms, such as Na\uefve Bayes Tree and na\uefve Bayes significantly in yielding accurate conditional probability estimation and improving classification accuracy and AUC.L'arbre na\ueff de Bayes est constitu\ue9 d'un arbre de d\ue9cision qui lui sert de structure g\ue9n\ue9rale et de classifieurs bay\ue9siens na\ueffs d\ue9ploy\ue9s au niveau des feuilles. Nous pr\ue9sumons que les classifieurs bay\ue9siens na\ueffs conviennent mieux que les arbres de d\ue9cision lorsque l'ensemble de donn\ue9es est de petite taille. Par cons\ue9quent, apr\ue8s plusieurs fragmentations par attributs lors de l'\ue9laboration de l'arbre de d\ue9cision, il est pr\ue9f\ue9rable d'utiliser des classifieurs bay\ue9siens na\ueffs au niveau des feuilles, plut\uf4t que de poursuivre la fragmentation par attributs. Dans le pr\ue9sent article, nous proposons un algorithme d'apprentissage pour am\ue9liorer l'estimation de la probabilit\ue9 conditionnelle dans le diagramme de l'arbre na\ueff de Bayes. Ces travaux ont pour but de d\ue9montrer que, pour un apprentissage sensible aux co\ufbts auxquels des probabilit\ue9s conditionnelles sont associ\ue9es, la fonction de caract\ue9risation est optimale lorsque les estimations des probabilit\ue9s conditionnelles sont exactes. La possibilit\ue9 d'am\ue9liorer l'exactitude de la classification et de l'aire sous la courbe (ASC) constitue un avantage suppl\ue9mentaire. Nos exp\ue9riences sur une grande s\ue9rie d'ensembles de donn\ue9es de contr\uf4le ont d\ue9montr\ue9 que l'arbre CLL (<em>Conditional Log Likelihood</em>, logarithme de la fonction de vraisemblance conditionnelle) surpasse les plus r\ue9cents algorithmes d'apprentissage, tels que l'arbre na\ueff de Bayes et le bay\ue9sien na\ueff en donnant une estimation exacte de la probabilit\ue9 conditionnelle et en am\ue9liorant l'exactitude de la classification et de l'aire sous la courbe.NRC publication: Ye