Feature selection using the Wrapper approach for hierarchical multi-label classification

The technological advance brings as a consequence a great challenge, which is to find a way to store and extract useful knowledge of a mass of data. An alternative to this scenario is the use of Data Mining tools, being one of the techniques used, the Attribute Selection. The selection of attributes is one of the techniques that can be used to reduce the dimensionality of a database, with the main objective to identify the relevant attributes, thus increasing the predictive power of the classifier. Basically, there are three approaches to Attribute Selection: Embedded, Filter, and Wrapper. In the context of multi-label hierarchical classification, where classes to be predicted are structured according to a hierarchy, few works in the literature present proposals for attribute selection techniques. Thus, in this work, we propose a new method of attribute selection based on the Wrapper approach for global multi-label hierarchical classification. The FSW-HMC method is divided into two main steps: the search strategy (Artificial Immune System and Genetic Algorithm) and subset evaluation (Clus-HMC multi-label hierarchical classifier and AUPRC performance measure). In order to perform the experiments, biological data from 10 Genetic Ontology databases are used, and the classes are structured in a hierarchy in the form of a Directed Acyclic Graph (DAG). When performing the analysis of the generated subsets it can be noted that there was a significant reduction in the number of attributes greater than 63 %. After analyzing the subsets, it can be seen that the difference of the AUPRC measure obtained in the subsets for the base with all the attributes is less than 0.025.O avanço tecnológico traz como consequência um grande desafio, que é o de encontrar uma forma de armazenar e extrair conhecimento útil de uma massa de dados. Uma alternativa para esse cenário é a utilização de ferramentas da Mineração de Dados, sendo uma das técnicas empregadas, a Seleção de Atributos. A Seleção de Atributos é uma das técnicas que podem ser utilizadas para a redução de dimensionalidade de base de dados, tendo como objetivo principal identificar os atributos relevantes aumentando assim o poder preditivo do classificador. Basicamente, são três as abordagens para a Seleção de Atributos: Embutida, Filtro e Wrapper. No contexto de classificação hierárquica multirrótulo, onde as classes a serem preditas estão estruturadas de acordo com uma hierarquia, poucos trabalhos na literatura apresentam propostas de técnicas de seleção de atributos. Desse modo, neste trabalho propõe-se um novo método de seleção de atributos baseado na abordagem Wrapper para classificação hierárquica multirrótulo global. O método FSW-HMC é dividido em duas etapas principais, sendo estas a estratégia de busca (Sistema Imunológico Artificial e Algoritmo Genético) e avaliação do subconjunto (classificador hierárquico multirrótulo Clus-HMC e medida de desempenho AUPRC). Para a realização dos experimentos são utilizados dados biológicos de 10 bases de dados da Ontologia Gênica, sendo que as classes das mesmas estão estruturadas em uma hierarquia no formato de um Grafo Acíclico Direcionado (DAG). Ao realizar-se a análise dos subconjuntos gerados pode-se notar que houve uma redução significativa do número de atributos superior a 63%. Após a análise dos subconjuntos, pode-se observar que a diferença da medida AUPRC obtida nos subconjuntos para a base com todos os atributos é inferior a 0,025