Functional GUI test automation of a virtual learning environment

Tämän tutkimuksen kohteena on Turun yliopistossa kehitetyn www-pohjaisen ViLLE-oppimisjärjestelmän funktionaalisen käyttöliittymätestauksen automatisointityö. Tutkimusta varten olen kerännyt kattavasti aineistoa aihetta käsittelevästä yleisestä kirjallisuudesta ja artikkeleista sekä toteutuksen kannalta spesifistä tietoa tarjoavista Internet-lähteistä. Tutkimuksessa olen tehnyt myös pienehkön määrän testausalan asiantuntijahaastatteluja. Tutkimuksen empiirisessä osuudessa olen valinnut testaukseen käytettävän testaustyökalun sekä toteuttanut valitulla testaustyökalulla ViLLE-oppimisjärjestelmän testauksen automatisointityön soveltamalla käytäntöön tutkimuksen teoriaosuudessa esitettyä tietoa hyvistä käytänteistä funktionaalisen käyttöliittymätestauksen automatisoinnissa. Tutkimuksen toteutuksessa olen käyttänyt kvalitatiivista tutkimusmenetelmää. Tutkimuksen empiirisen osuuden pohjalta kerätyn havaintoaineiston perusteella olen selvittänyt vastaukset seuraaviin tutkimuksessa esitettyihin tutkimuskysymyksiin: • Miten käytetty testaustyökalu on valittu ja mitkä olivat valintaan vaikuttaneet tärkeimmät kriteerit? • Miten käytetty testaustyökalu soveltuu ViLLE-oppimisjärjestelmän funktionaalisen käyttöliittymätestauksen automatisointiin? • Millä eri tavoin käytäntöön viety hyvien testiautomaation laatimistapojen mukainen toteutus vaikuttaa nyt laadittuun testiautomaatioon? • Esiintyikö toteutetussa testiautomaatiossa tutkimuksen teoreettisessa viitekehyksessä kuvattuja funktionaalisen käyttöliittymätestauksen automatisoinnille tyypillisiä ongelmia ja miten ongelmat saatiin ratkaistua? Tutkimuksen tulokset osoittavat melko selvästi, että ViLLE-oppimisympäristön funktionaalisen käyttöliittymätestauksen automatisointityön toteutukseen valittu Vaadin TestBench -testaustyökalu, joka on valittu tutkimuksen alkuvaiheessa suoritetun evaluoinnin perusteella, soveltuu käyttötarkoitukseensa hyvin. Lisäksi pystyin luotettavasti havainnoimaan, että testiautomaation ylläpidon tarve sekä testien laatimiseen kuluva aika vähenevät merkittävästi, kun testit laaditaan heti alusta lähtien rakenteeltaan modulaariseksi sekä tietyin teknisin keinoin mahdollisimman vähän käyttöliittymän rakennetta huomioonottavaksi. Ongelmia testiautomaation laatimisessa voivat aiheuttaa käytetty työkalu itsessään, testattavan järjestelmän toteutus sekä testien suoritusympäristö. Huolimatta kirjallisuuskatsauksen perusteella tehdystä varautumisesta tyypillisiin testiautomaation laatimisessa esiintyviin ongelmiin, myös joitakin sellaisia ongelmia esiintyi, joihin en ollut osannut varautua. Mahdollisiin ongelmiin etukäteen varautuminen kuitenkin selvästi auttoi suurimpaan osaan testiautomaation laatimisessa esiintyneistä ongelmista.The topic of this research is the functional test automation of WWW-based ViLLE learning platform developed at the Department of Information Technology in the University of Turku. The background information for this thesis was mainly gathered from subject-specific books, articles and Internet resources. Beside the literature study, also some interviews were made with selected software testing and test automation professionals. The study was conducted with a qualitative approach. In the empirical phase of the study, a functional test automation tool was selected and used for the test automation work of ViLLE learning platform. The most recommended practices in literature about functional test automation were used to virtually analyze the effects of ‘best practices’ in test automation. Based on the research objective, following research questions were formulated: • How the test automation tool was selected and what was the main criteria used for the selection? • How the selected tool succeeds on automating the functional graphical user interface testing of ViLLE learning environment? • In what different ways does the adoption and use of best practices in test automation affect to the outcome of test automation that was implemented during the research? • Were the common problems of test automation, as described in the background research, also present in this study and how the problems were solved? The results of this research quite clearly indicates that the selected Vaadin TestBench test automation tool is a good fit to the test automation needs of ViLLE learning platform. The results also substantiate that by utilizing the modular test design approach and a bit more sophisticated techniques to retrieve user interface elements from the screen than element position on the screen, the time that goes to test automation maintenance work, and to test creation activities, decreases significantly. Different kinds of problems in test automation creation process can be caused by the tool used in the automation process, the actual implementation of the tested application and the environment where the automated tests are run. Some preparations were made to confront the most typical problems in test automation revealed by gathered research background information. While these preparations did not solve all encountered test automation problems, only minor amount of issues were totally new or much time taking.Siirretty Doriast