A comparative study between generation techniques semiautomatic probability tables of nodes in bayesian networks.

Submitted by Maria Medeiros (maria.dilva1@ufcg.edu.br) on 2019-08-29T10:06:13Z No. of bitstreams: 1 JOÃO BATISTA NUNES BEZERRA - DISSERTAÇÃO (PPGCC) 2019.pdf: 3395726 bytes, checksum: 86fa69cc1605e376a6a13c50f57a555b (MD5)Made available in DSpace on 2019-08-29T10:06:13Z (GMT). No. of bitstreams: 1 JOÃO BATISTA NUNES BEZERRA - DISSERTAÇÃO (PPGCC) 2019.pdf: 3395726 bytes, checksum: 86fa69cc1605e376a6a13c50f57a555b (MD5) Previous issue date: 2019-02-28CapesUm dos desafios para o uso de redes Bayesianas refere-se à construção das Tabelas de Probabilidade dos Nós (TPN). Dado que a complexidade para definição de TPN cresce exponencialmente, para redes Bayesianas de larga escala torna-se impraticável a definição manual das TPN. Existem diversas técnicas que abordam este problema, dentre elas, métodos de construção semiautomática de TPN. O objetivo deste trabalho é mensurar e comparar a capacidade de modelagem de TPN e acurácia de alguns destes métodos: Weighted Sum Algorithm (WSA), Ranked Nodes Method (RNM), uma adaptação do Analytic Hierarchy Process (AHP) para o contexto de redes Bayesianas, e uma combinação do WSA com o AHP. Dessa forma, um estudo de caso com duas unidades de análise e um experimento controlado foram realizados. No estudo de caso participaram quatro especialistas de domínio e foram construídas quatro redes Bayesianas para estimativa de valor com os métodos WSA e RNM. A acurácia dos métodos foi avaliada com dados históricos e cenários simulados. No que se refere ao experimento controlado, foi adotado um Delineamento em Blocos Casualizados Completo (DBC). Participaram do experimento dez desenvolvedores de software que aplicaram os métodos para quantificar incertezas em uma rede Bayesiana. Estes mesmos desenvolvedores definiram manualmente TPN que serviram como referência para medir a capacidade de modelagem e acurácia dos métodos semiautomáticos. Foram utilizadas as seguintes medidas de similaridade para medir a capacidade de modelagem dos métodos: Brier Score (BS), Distância Euclidiana (ED) e Erro Médio Absoluto (EM). Para medir a acurácia foi utilizado a Proporção de Acertos (PA) dos métodos. A principal limitação deste estudo foi o escopo reduzido para quatro métodos, decorrente dos altos custos envolvidos na aplicação dos mesmos. A partir dos resultados obtidos, foi possível concluir que há diferenças estatisticamente significativas entre os métodos e o método de melhor desempenho é o RNM, seguido do WSA, WSA-AHP e AHP.One of the challenges for the use of Bayesian networks is the construction of the Node Probability Tables (NPT). The complexity for defining NPT is exponential, for large-scale Bayesian networks, it is not feasible to manually define NPT. There are several techniques that address this problem, among them, semiautomatic methods for the construction of NPT. The objective of this work is to measure and compare the modelling capability and accuracy of some of these methods: Weighted Sum Algorithm (WSA), Ranked Nodes Method (RNM), an adaptation of the Analytic Hierarchy Process (AHP) to the context of Bayesian networks, and a combination of WSA and AHP. Therefore, a case study with two units of analysis and a controlled experiment was performed. The accuracy of the methods was evaluated using historical data and simulated scenarios. Regarding the controlled experiment, a Randomized Complete Block Design (RCBD) was adopted. Ten software developers participated in the experiment and applied the methods to quantify uncertainties in a Bayesian network. These same developers manually defined NPT that served as a reference to measure the modelling capabilities and accuracy of the methods. The following measures of similarity were used to measure the modelling capacity of the methods: Brier Score (BS), Euclidean Distance (ED) and Mean Absolute Error (MAE). In order to measure the accuracy, the Accuracy Ratio (AR) of the methods was used. The main limitation of this study is its reduced scope of four methods due to the high costs involved in their application. According to the results obtained, it is possible to conclude that there are statistically significant differences between the methods. The method that presented the best result was the RNM, followed by the WSA, WSA-AHP and AHP