Bayesian networks for classification with learning via Scoring and Restrict: method, application and comparison with traditional methods.

Este trabalho é uma investigação sobre o comportamento das Redes Bayesianas (RB) discretas que visam resolver problemas de classificação. Esta metodologia é baseada em teorias dos grafos e de probabilidade, sendo as RBs definidas como um modelo gráfico probabilístico que permite visualizar as relações entre as variáveis consideradas aleatórias e, em geral, simplifica o entendimento de domínios complexos. Com o intuito de compreender seu desempenho, foram selecionados os classificadores Naïve Bayes (NB), o Tree Augmented Naïve Bayes (TAN), o K-Dependence Bayesian Network (KDB), o Bayesian Network Augmented Naïve Bayes (BAN), o General Bayesian Network (GBN) e o Averaged One-Dependence Estimator (AODE) para serem comparados. Desse modo, o AODE, um classificador combinado, apresenta a melhor performance preditiva em relação aos demais. Aliado a isso, foi proposta uma metodologia híbrida de estimação de rede, que tem como principal objetivo a classificação de maneira mais parcimoniosa. Os estudos de simulação conduzidos apontam que o novo método atende às expectativas de acréscimo na capacidade preditiva e indicam a redução da complexidade das relações entre as variáveis. Além disso, as aplicações em bases de dados reais auxiliam a melhor compreensão em torno da nova abordagem. Por fim, foi avaliada uma combinação entre os classificadores apresentados por meio do stacking, que sinalizou aumento na capacidade preditiva em relação aos classificadores analisados individualmente.This work is an investigation towards the behavior of discrete Bayesian Networks (BN) which aims to solve classification problems. This methodology is based on graphs and probability theories, and it is defined to be a probabilistic graphical model that allows the relationship visualization among (random) variables and, in general, simplifies the understanding of complex domains. To understand their performance, some classifiers were selected to be compared, such as Naïve Bayes (NB), Tree Augmented Naïve Bayes (TAN), K-Dependence Bayesian Network (KDB), Bayesian Network Augmented Naïve Bayes (BAN), and Averaged One-Dependence Estimator (AODE). In general, the performance of the ensemble classifier AODE outperforms the others. In addition, a hybrid method for structure estimation is proposed and it aims the parsimonious classification. The simulation studies show the new method fits the expectation of increase the prediction performance also, balance the number of connections among variables and, the applications in real datasets support the better understanding of the new approach. Finally, a combination of the classifiers via stacking was presented and it indicated an increase in their performances when they were compared to the methods themselves