Decision Trees for Probability Estimation: An Empirical Study

Accurate probability estimation generated by learning models is desirable in some practical applications, such as medical diagnosis. In this paper, we empirically study traditional decision-tree learning models and their variants in terms of probability estimation, measured by Conditional Log Likelihood (CLL). Furthermore, we also compare decision tree learning with other kinds of representative learning: na\uefve Bayes, Na\uefve Bayes Tree, Bayesian Network, K-Nearest Neighbors and Support Vector Machine with respect to probability estimation. From our experiments, we have several interesting observations. First, among various decision-tree learning models, C4.4 is the best in yielding precise probability estimation measured by CLL, although its performance is not good in terms of other evaluation criteria, such as accuracy and ranking. We provide an explanation for this and reveal the nature of CLL. Second, compared with other popular models, C4.4 achieves the best CLL. Finally, CLL does not dominate another well established relevant measurement AUC (the Area Under the Curve of Receiver Operating Characteristics), which suggests that different decision-tree learning models should be used for different objectives. Our experiments are conducted on the basis of 36 UCI sample sets that cover a wide range of domains and data characteristics. We run all the models within a machine learning platform - Weka.L'estimation exacte de la probabilit\ue9 g\ue9n\ue9r\ue9e par des mod\ue8les d'apprentissage est souhaitable pour certaines applications pratiques telles que les diagnostics m\ue9dicaux. Dans le pr\ue9sent article, nous \ue9tudions de fa\ue7on empirique les mod\ue8les classiques d'apprentissage par arbres de d\ue9cision et leurs variantes en termes d'estimation de la probabilit\ue9, mesur\ue9e \ue0 l'aide d'un logarithme de la fonction de vraisemblance conditionnelle (<em>Conditional Log Likelihood</em>, CLL). De plus, nous comparons \ue9galement l'apprentissage par arbres d\ue9cisionnels avec d'autres types d'apprentissage : bay\ue9sien na\ueff, arbre na\ueff de Bayes, r\ue9seau bay\ue9sien, K-plus proches voisins et machine \ue0 vecteurs de support relativement \ue0 l'estimation de la probabilit\ue9. D'apr\ue8s nos exp\ue9riences, nous pouvons faire plusieurs observations int\ue9ressantes. D'abord, parmi les mod\ue8les d'apprentissage par arbres de d\ue9cision, C4.4 est le meilleur puisqu'il permet une estimation pr\ue9cise de la probabilit\ue9 \ue0 l'aide du CLL, bien qu'il ne soit pas aussi performant \ue0 l'\ue9gard d'autres crit\ue8res d'\ue9valuation, notamment l'exactitude et la classification. Nous en fournissons une explication et nous r\ue9v\ue9lons la nature du logarithme de la fonction de vraisemblance conditionnelle. Deuxi\ue8mement, par rapport \ue0 d'autres mod\ue8les populaires, le C4.4 permet d'obtenir le meilleur logarithme de la fonction de vraisemblance conditionnelle. Enfin, le logarithme de la fonction de vraisemblance conditionnelle ne surclasse pas une autre m\ue9thode \ue9prouv\ue9e et pertinente de mesure, celle de l'aire sous la courbe (ASC) de la fonction d'efficacit\ue9 du r\ue9cepteur (ROC), qui indique que diff\ue9rents mod\ue8les d'apprentissage par arbres de d\ue9cision devraient \ueatre utilis\ue9s pour diff\ue9rents objectifs. Nos exp\ue9riences sont men\ue9es d'apr\ue8s 36 ensembles d'\ue9chantillons de niveau de confiance \ue9lev\ue9 qui couvrent une gamme \ue9tendue de domaines et de caract\ue9ristiques pour les donn\ue9es. Nous mettons \ue0 l'essai tous les mod\ue8les \ue0 l'aide d'une plate-forme d'apprentissage automatique Weka.NRC publication: Ye