C4.5, Class Imbalance, and Cost Sensitivity: Why Under-Sampling beats Over-Sampling

This paper takes a new look at two sampling schemes commonly used to adapt machine algorithms to imbalanced classes and misclassification costs. It uses a performance analysis technique called cost curves to explore the interaction of over and under-sampling with the decision tree learner C4.5. C4.5 was chosen as, when combined with one of the sampling schemes, it is quickly becoming the community standard when evaluating new cost sensitive learning algorithms. This paper shows that using C4.5 with under-sampling establishes a reasonable standard for algorithmic comparison. But it is recommended that the least cost classifier be part of that standard as it can be better than under-sampling for relatively modest costs. Over-sampling, however, shows little sensitivity, there is often little difference in performance when misclassification costs are changed.Le pr\ue9sent document r\ue9examine deux techniques d'\ue9chantillonnage qui sont couramment utilis\ue9es pour adapter des algorithmes machine en vue de tenir compte des classes non \ue9quilibr\ue9es et des co\ufbts des erreurs de classification. Une technique d'analyse de la performance appel\ue9e courbe de co\ufbt est utilis\ue9e pour explorer l'interaction du sur\ue9chantillonnage et du sous-\ue9chantillonnage avec le programme d'apprentissage C4.5 de l'arbre de d\ue9cision. On a choisi le programme C4.5 parce que, combin\ue9 avec une des techniques d'\ue9chantillonnage, il devient rapidement la norme dans le domaine pour l'\ue9valuation des nouveaux algorithmes d'apprentissage sensibles aux co\ufbts. Le document indique que l'utilisation du programme C4.5 et du sous-\ue9chantillonnage permet d'\ue9tablir une norme raisonnable pour la comparaison des algorithmes. Cependant, on recommande que le classificateur de moindre co\ufbt soit int\ue9gr\ue9 \ue0 la norme, car il donne des meilleurs r\ue9sultats que le sous-\ue9chantillonnage lorsque les co\ufbts sont relativement modestes. Toutefois, le sur\ue9chantillonnage n'est pas tr\ue8s sensible et l'\ue9cart de performance est assez faible lorsque les co\ufbts associ\ue9s aux erreurs de classification sont modifi\ue9s.NRC publication: Ye