Assesing the technical debt in open source products through experimental studies

A metáfora da dívida técnica (DT) apresenta-se muito útil para Engenharia de Software, estando diretamente relacionada ao contexto de evolução e manutenção existentes no ciclo de vida de um produto. Ela pode ser entendida como uma relação entre custos e efeitos, de curto e longo prazos, associados a decisões de projeto durante o processo de desenvolvimento de software. Atualmente, grandes empresas e alguns setores do governo ainda possuem restrições quanto à adoção de produtos de código aberto por incertezas relacionadas a sua qualidade e confiabilidade. Nesse contexto, o presente trabalho tem por objetivo avaliar a dívida técnica em produtos de código aberto, no intuito de demonstrar a possibilidade de utilização dessa abordagem para avaliação da qualidade de software. Para tanto, foram realizados estudos experimentais, contemplando a coleta automatizada de dados para um conjunto expressivo de produtos de código aberto, tendo como entrada o respectivo código fonte. Esses produtos foram submetidos à avaliação da Plataforma SonarQube, a qual possibilita coletar diversas métricas sobre a qualidade do código fonte – entre elas a dívida técnica (technical debt). A interpretação dos dados coletados possibilitou a análise da evolução da DT desses produtos, a classificação dos projetos e a verificação da representatividade dos eixos de qualidade que compõem a DT. Os resultados sugerem que a maioria dos projetos avaliados demonstrou diminuição da DT, ao longo de suas versões, e apresentou valores pouco elevados para a métrica. Outra contribuição consiste que os eixos de qualidade “Cobertura”, “Violações” e “Complexidade” foram identificados como aqueles que mais contribuem para o incremento da DT do conjunto de produtos avaliados. Foi possível, também, verificar a existência de uma correlação entre a implementação da DT estudada e a metodologia SQALE, no que diz respeito à avaliação da qualidade de software.The metaphor of technical debt (TD) is very useful for Software Engineering, it is directly related to the context of evolution and maintenance in the life cycle of a product. It can be understood as a relation between costs and effects, of short and long term, associated with project decisions during the software development process. Currently, large companies and some government sectors still have restrictions in adopting open source products by uncertainties related to its quality and reliability. In this context, this study aims to evaluate the technical debt in open source products in order to demonstrate the feasibility of this approach to evaluate the software quality. For this, were performed experimental studies, contemplating the automated data collection for a significant set of products open source, having as input its source code. These products were evaluated by SonarQube Platform, which enables collect several metrics about the quality of the source code - including the technical debt. The interpretation of the collected data allowed the analysis of the TD evolution for these products, the classification of the projects and the verification of the representativeness of the quality axis that make up the TD. The results suggest that most of the projects evaluated have shown decreased TD along their versions and they showed slightly elevated values of the metric. Another contribution is that the quality axis Coverage, Violations and Complexity is presented as the main contributors to the TD’s increase of from the set of product evaluated. It was also possible to verify the existence of a correlation between the TD implementation and the SQALE methodology, with regard assessing software quality evaluating