Validation of a real-time game space with an extended classifier system algorithm

Z doktorsko disertacijo naslavljamo problematiko zamudnega ročnega preverjanja veljavnosti realno-časovnih igralnih prostorov. Sodobni igralni prostori so namreč izredno kompleksni sistemi z vsebovano množico igralnih funkcionalnosti s katerimi se predstavljajo karakteristike igre. Pri preverjanju pravilnosti delovanja teh implementiranih igralnih funkcionalnosti s strani človeških igralcev, lahko ponavljajoče se operacije večkratnega preigravanja igre po vnaprej predvidenih scenarijih vnesejo nenamerne napake v proces preverjanja veljavnosti. Ker je ročno preverjanje obenem še drag in zapleten proces, smo tekom doktorskega dela ta proces avtomatizirali z algoritmom razširjenega sistema na osnovi klasifikatorjev (XCS). Z uporabo algoritma XCS smo izdelali igralnega agenta, ki samostojno deluje v poljubnem realno-časovnem igralnem prostoru, nato pa smo še razvili lastno ne-invazivno komponento, ki omogoča prilagoditev poljubnega igralnega agenta v igralno-testnega agenta. Zasnovan je bil prvi eksperiment s katerim smo potrdili koncept, da je z uporabo ne-invazivne komponente naš prilagojen igralni-agent zmožen odkrivati neveljavne igralne funkcionalnosti v realno-časovnem igralnem prostoru najnižje računske kompleksnosti (igralni prostor Križci-Krožci). Za namen primerjave našega agenta še z ostalimi igralno-testnimi agenti smo nato razvili še lastno metriko, ki za vsakega igralno-testnega agenta poda kvantitativno metrično oceno. Igralni prostor, igralne funkcionalnosti, igralne scenarije, igralne-agente, ne-invazivno komponento ter metriko, pa smo povezali v zaključeno celoto, in sicer v metodo za kvantitativno oceno preverjanja veljavnosti igralnega prostora. Metodo smo ovrednotili z drugim eksperimentom, kjer je bil naš agent primerjan z agenti v konici razvoja v realno-časovnem igralnem prostoru najvišje računske kompleksnosti (realno-časovnih strateških igrah). Pri obeh eksperimentih smo za vse igralno-testne agente izvajali meritve uspešnosti potrditev neveljavnih igralnih funkcionalnostih, za igralno-testnega agenta z algoritmom XCS pa smo še dodatno izvajali časovne meritve izvedbe posamezne igre oz. scenarija. Rezultati obeh eksperimentov so pokazali, da je algoritem XCS primeren za preverjanje veljavnosti igralnih funkcionalnosti, saj je neveljavne igralne funkcionalnosti uspel odkriti vsakič, ko le-te niso delovale pravilno. Pri drugem eksperimentu se je tudi pokazalo, da jih je uspel odkriti vsakič, ko so jih odkrili tudi ostali igralno-testni algoritmi. Pri primerjavi metričnih ocen našega agenta z ostalimi igralno-testnimi agenti, smo prišli do zaključka, da je le-ta z njimi primerljiv, in se uvršča v zlato sredino. Pri pregledu časovnih meritev smo ugotovili, da te sicer lahko med ponovitvijo enakih scenarijev statistično variirajo, vendar se vsi scenariji izvedejo znotraj predvidenih meja nastavljenih realnih-časov. Algoritem XCS se je tako skupno izkazal kot kvaliteten kandidat za namen preverjanja veljavnosti igralnih funkcionalnosti realno-časovnih igralnih prostorov.With our doctoral dissertation, we address the topic of time-consuming manual validation of real-time game spaces. Current modern gaming spaces are incredibly complex systems and comprise of many game features representing the game\u27s characteristics. That complexity makes it hard to validate the game features with human players because repetitive operations during replay of the pre-planned game scenarios can lead to the unintentional introduction of errors in the validation process. Human testing is an expensive and elaborate process, so during the doctoral thesis, we automated this process with an eXtended Classifier System (XCS) algorithm. The algorithm XCS was used to create a game agent that works independently in any real-time game space. Then we developed a non-invasive component that allows the adaptation of any game agent into a game-testing agent. We designed the first experiment to confirm the concept that using a non-invasive component, our game agent with algorithm XCS could detect invalid game features in the lowest representative of real-time game spaces (game space of Tic-Tac-Toe). We developed the metric to compare our agent with other game-testing agents by utilizing quantitative metric scores. The game space, game functionalities, game scenarios, game agents, non-invasive component, and metric were combined into the method for quantitative assessment of the game space\u27s validity. The method was evaluated in the second experiment, in which our agent was compared against other state-of-the-art game agents in the highest representative of real-time game spaces (real-time strategy games). In both experiments, measurements of the successful confirmations of invalid game features were taken for all game test agents. Additionally, we took time measurements of the execution of an individual game scenario for the game-agent with algorithm XCS. Both experiments revealed that the XCS algorithm is suitable for the validation of game features because it detected invalid game features every time they did not work correctly. In the second experiment, we also showed that whenever other game-testing agents discovered the invalid game features, so did our game-testing agent. By comparing our agent\u27s final metric scores against metric scores of other game-testing agents, we concluded that it is comparable to them and ranks in the middle. Through a review of the time measurements, we discovered that they could vary statistically during the repetition of the same scenarios. Still, nonetheless, all scenarios were executed within the predicted limits of the set real-time values. The XCS algorithm has proven to be a worthy candidate to verify real-time game spaces\u27 game features