Métodos de otimização hiperparamétrica: um estudo comparativo utilizando árvores de decisão e florestas aleatórias na classificação binária

O Aprendizado de Máquina se tornou uma ferramenta fundamental para algumas áreas do conhecimento. Muito de sua robustez reside na existência de diferentes níveis de complexidade para um modelo, que podem vir a serem escolhidos, assim como as possíveis congurações do algoritmo de treinamento. Estes ajustes impactam diretamente no erro de generalização do modelo. Hiperparâmetros são as variáveis que controlam estas funções, e que precisam de uma denição de valor antes mesmo que o treinamento do modelo seja realizado. Por isto, a estimação do valor ótimo para o(s) hiperparâmetro(s) é fundamental para a obtenção de um modelo com melhor desempenho de predição. O presente trabalho possui o objetivo de comparar o desempenho dos métodos de otimização hiperparamétrica: Busca em Grade, Busca Aleatória e otimização Bayesiana (com o uso do Processo Gaussiano), na sintonia de hiperparâmetros dos modelos de aprendizado: Árvore de Decisão e Floreta Aleatória. Nestes modelos, são testados hiperparâmetros que controlam o crescimento de uma árvore, e que dene o grau de descorrelação entre as árvores de uma oresta aleatória. Estes dois algoritmos de aprendizado são empregados em problemas de Classicação binária, utilizando diferentes conjuntos de dados. Os resultados obtidos mostram que para um mesmo número de treinamentos, a técnica de otimização Bayesiana proporciona melhores resultados que os outros dois métodos testados.Machine Learning has become a fundamental tool for some areas of knowledge. Much of its strength lies in the existing of dierents levels of complexity for a model and existence of adjustments for its training algorithm. These settings allow the achievement of models with lower generatization error. Hyperparameter is a type of variable that controls these functions and needs to be set even before the training procedure is carried out. Therefore the estimation of their optimum values is crutial to obtain a ne model. This work aims to compare the performance of the following hyperparametric optimization methods: Grid Search, Random Search and Bayesian optimization (using Gaussian Process). These three techniques are applied on tuning of hyperparameters from two types of learing models: Decision Tree and Random Florest. For such comparisons, hyperparaments related to tree depth control and decorrelation level between predictors of a random forest were chosen. These two learning algorithms are applied on binary classication problems, using different datasets.The results obtained show that for a same number of model trainings, the Bayesian optimization technique provides better results comparing to the other methods