Testprioritering inom kontexten av ett spelutvecklingsprojekt

Regression testing is an important part of software development and is integral for finding regression errors caused by code changes or issues with revision control. However, executing all test cases in the test suite is often infeasible. One solution to this problem is to use a prioritization technique. Test prioritization techniques are often utilized to rearrange the execution order of test cases, such that the number of software faults found are maximized as early as possible. A test prioritization heuristic is presented in this report, which uses data regarding a test case’s previous execution history to calculate which test case is most likely to find a failure for the current version of the software. The proposed prioritization strategy uses two different modules. The first module statically prioritizes test cases by calculating a score for each test case, based on previous failure rate and distance of last execution. The second module, which is referred to as the history correlator, compares the test histories of every possible pair of tests and check for similarities in test execution histories. When a test has been executed in the regression testing phase, all test cases with similar test execution histories are given highest priority. The proposed strategies are tested in an experiment, using a software project from EA DICE as the software under test. The experiment presented in this report compares the performance of the history score calculation compared to the performance of random prioritization. The performance of both modules together is also compared to only using the first module, to decide if the history correlator improves the performance of the history score module. The results shows that the history score prioritization displays some potential to prioritize test cases that results in failure, but needs future improvements to provide results in a consistent basis. The addition of the history correlator does not lead to significant improvements in detecting failures.Regressionstestning är en viktig del utav mjukvaruutveckling och är väsentlig för att finna regressionsfel. I de flesta fall är det omöjligt att exekvera alla testfall. Därför används ofta testprioriteringstekniker för att arrangera om exekveringsordningen av testfall, på ett sätt så att antalet funna fel maximeras så tidigt som möjligt. I denna rapport redovisas en prioriteringsheuristik som använder data om föregående körningar från testfall för att avgöra vilka test som mest troligt kommer hitta fel i den aktuella versionen av mjukvaran. Prioriteringsstrategin består av två moduler. Den första modulen prioriterar tester genom att ge varje test prioriteringspoäng baserat på föregående misslyckade körningar och tiden sen senaste exekvering av testfallet. Den andra modulen jämför föregående exekveringar mellan varje möjliga par av testfall och letar efter likheter. När ett testfall har exekverats under regressionstestning, ge högsta prioritet till alla testfall som har liknande exekveringshistorik. Den presenterade strategin testas i ett experiment, där prioriteringsstrategin testas mot ett mjukvaruprojekt från EA DICE. Första delen av experimentet jämför poängkalkyleringsstrategin med slumpmässig prioritering. Andra delen av experimentet jämför prestandan mellan användning av båda modulerna jämfört med endast poängkalkylering, för att undersöka om den andra modulen förbättrar prestandan för poängkalkyleringen. Resultatet visar att poängkalkyleringen visar potential i att prioritera testfall som resulterar i att fler fel är funna. Dock krävs det flera förbättringar för första modulen för att kunna få ut bra resultat som är konsekventa. Det finns inte tillräckligt med bevis som indikerar att den andra modulen bidrar till ett bättre resultat