Evaluation of the performance of backpropagation algorithms with artificial neural networks to solve non-linear problems

Artificial neural networks make possible to work with modeling and resolution of nonlinear problems by training, testing and validating the neural network with a set of input data and an output goal. However, the construction of an artificial neural network is complex and hard-working because there is no neural network model ready to solve any problem, each neural network must be built based on the problem that needs to be solved. One of the main points in the construction of a neural network is the correct choice of the training algorithm for the network to converge correctly, produce good results and correctly solve the problem addressed. Each training algorithm contains its pros and cons that should be taken into consideration. The present work presents the performance comparison between the Levenberg-Marquardt, Bayesian Regularization, Scaled Conjugate Gradient and Resilient Backpropagation algorithms applied to a non-linear case study. The application of the algorithms in the case study was carried out in three different neural network architectures, allowing to evaluate the performance of the algorithms in different architectures. The case study is the learning of the value of the stoichiometric richness in spark ignition engine, which is characterized as a non-linear and high complexity problem. The results obtained with the training of the algorithms in the different architectures showed the importance of the architecture of the neural network used, being that one of the three architectures developed the best result and two algorithms were able to achieve excellent performance rates, whereas other two algorithms did not obtain satisfactory results.As redes neurais artificiais possibilitam trabalhar com modelagem e resolução de problemas não-lineares, treinando, testando e validando a rede neural com um conjunto de dados na entrada e um objetivo de saída. Porém a construção de uma rede neural artificial é algo complexo e trabalhoso, pois não existe um modelo de rede neural pronto que solucione qualquer problema, cada rede neural deve ser construída com base no problema que se quer solucionar. Um dos principais pontos na construção de uma rede neural é a escolha correta do algoritmo de treinamento para a rede convergir corretamente, produzir bons resultados e solucionar corretamente o problema abordado. Cada algoritmo de treinamento contém seus prós e contras que devem ser levados em consideração. O presente trabalho apresenta a comparação de desempenho entre os algoritmos Levenberg-Marquardt, Bayesian Regularization, Scaled Conjugate Gradient e Resilient Backpropagation aplicado a um estudo de caso não-linear. A aplicação dos algoritmos no estudo de caso foi realizada em três arquiteturas de redes neurais diferentes, possibilitando avaliar em diferentes arquiteturas o desempenho dos algoritmos. O estudo de caso abordado é a aprendizagem do valor da riqueza estequiométrica em motores a combustão interna ciclo Otto, que se caracteriza como um problema não-linear e de alta complexidade. Os resultados obtidos com os treinamentos dos algoritmos nas diferentes arquiteturas mostraram a importância da arquitetura da rede neural utilizada, sendo que uma das três arquiteturas desenvolvida obteve o melhor resultado e dois algoritmos conseguiram atingir ótimas taxas de desempenho, enquanto outros dois algoritmos não obtiveram resultados satisfatórios