Analyzing semantic trace links using network science and machine learning

Traceability is a useful tool for reasoning about many aspects of software by means of the connections between the artifacts that constitute the software. For example, stakeholders can use traceability to appraise the software quality along many different dimensions including regulatory compliance. The semantic content of these trace links or what they communicate to a stakeholder however, remains significantly unexplored. Additionally, issue tracking systems provide a wealth of data about traceability events and their context, particularly in the case of open source and agile software projects. In this work we investigate semantic traceability from two perspectives using trace links found in the issue trackers of open source software projects. Firstly, most of the state-of-the-art traceability solutions rely on a pair-wise comparison of artifact attributes. This approach ignores the characteristics that result from the entire connected structure of the trace links. To address this, we investigate the use of network science techniques on the issue trackers of sixty-six open source projects. From this perspective we show that two properties of networks, namely scale free degree distributions and triadic closure manifest in traceability networks. We then use these properties to showcase the high level reasoning that can be done by observing the traceability problem from a network perspective and in doing so, motivate the trace link semantic recovery problem. Secondly, we attempt to approach the trace link semantic recovery problem by using machine learning and the attributes of the issue trace links. We experiment with a number of models, tuning approaches and formulations of these attributes including the textual content of each issue, as well as other metadata items. We observe promising results from this task specification and show even higher performance when incorporating data both internal and external to the project's issue tracker.La traçabilité est un outil utile pour raisonner à propos de nombreux aspects d’un logiciel grace aux connections entre les artéfacts qui constituent ce logiciel. Par exemple, les parties prenantes peuvent utiliser la traçabilité pour évaluer la qualité d’un logiciel selon de nombreuses dimensions, comme la conformité réglementaire. Le contenu sémantique de ces liens ou, ce qu’ils communiquent à une partie prenante reste cependant notablement inexploré. De plus, les systèmes de suivi des problèmes fournissent une grande quantité de données sur les événements de traçabilité et leur contexte, en particulier dans le cas des projets logiciels en source libre ou agiles. Dans cette thèse, nous étudions la traçabilité sémantique de deux points de vue. Nous utilisons des liens de traçabilité trouvés dans les trackers de problèmes des projets de logiciels en source libre. Tout d’abord, l’état de l’art des solutions aux problèmes liés à la traçabilité, reposent sur la comparaison par paire des attributs des artefacts. Cette approche ne considère pas des caractéristiques qui émergent de l’ensemble de la structure connectée des liens. Pour y remédier, nous utilisons des techniques développés pour la théorie des réseaux dans les systèmes de suivi de problèmes de soixante-six projets en source libre. Nous montrons que deux propriétés des réseaux, à savoir une distribution de degrés invariante d’échelle et la fermeture triadique, se manifestent dans les réseaux de traçabilité. Nous utilisons ensuite ces propriétés pour mettre en évidence le raisonnement de haut niveau qui peut être fait en observant le problème de traçabilité comme un réseau et, ce faisant, motiver le problème de récupération des liens sémantiques. Deuxièmement, nous essayons d’aborder le problème de récupération sémantique des liens en utilisant l’apprentissage automatique et les attributs des liens en question. Nous explorons différents modèles, approches d’ajustement des paramètres et formulations de ces attributs, y compris le contenu textuel de chaque artéfact, ainsi que d’autres métadonnées. Nous observons des résultats encourageants à partir de cette spécification de tâche et nous montrons des performances encore plus élevées lorsque nous intégrons des données internes et externes au système de suivi de problèmes du projet