The effects of confirmation bias and time pressure in software testing

Abstract Background: Confirmation bias is the tendency to search for evidence that confirms a person’s preconceptions. Confirmation bias among software testers is their tendency to validate the correct functioning of the program rather than testing it to reveal errors. Psychology literature suggests that time pressure may promote confirmation bias because time pressure impedes analytical processing of the task at hand. Time pressure is perceived negatively for its effects in software engineering (SE), therefore, its effect on confirmation bias may exacerbate software quality. Objective: We aim to examine confirmation bias among software testers. Additionally, we examine the effect of time pressure on confirmation bias and how time pressure affects the testers’ perception of the performance. We also question what other antecedents to confirmation bias exist in software testing and how they lead to it. Method: We first examined the state of the art research on cognitive biases in SE using systematic mapping. Then, we empirically examined the feasibility of using students in further experiments. An experiment with 42 students (novice professionals) investigated the manifestation of confirmation bias and whether time pressure promotes it. Another experiment with 87 novice professionals examined the perception of the performance of software testers under time pressure. A grounded theory study based on the interview-data of 12 practitioners explored other antecedents to confirmation bias in software testing and how they lead to it. Results: Time pressure emerged as a major antecedent to confirmation bias in the grounded theory. Testers prefer to validate the correct functioning of the program under time pressure. However, time pressure could not significantly promote confirmation bias among testers. Software testers significantly manifest confirmation bias irrespective of time pressure. The perception of performance is also sustained irrespective of time pressure. Conclusion: Testers should develop self-awareness of confirmation bias and improve their perception of performance to improve their actual testing. In the industry, automated testing may alleviate confirmation bias due to time pressure by rapidly executing the test suites.Tiivistelmä Tausta: Vahvistusharha tarkoittaa taipumusta hakea ennakko-odotuksia vahvistavaa todistusaineistoa. Ohjelmistotestaajien vahvistusharha tarkoittaa taipumusta varmistaa ohjelmiston oikea toiminta mieluummin kuin hakea siitä virheitä. Psykologinen tutkimus esittää, että aikataulupaine voi lisätä vahvistusharhaa heikentämällä työn analyyttista tarkastelua. Aikataulupainetta pidetään ohjelmistotekniikan soveltamiseen kielteisesti vaikuttavana asiana, minkä johdosta sen vaikutus vahvistusharhaan voi heikentää ohjelmiston laatua. Tavoite: Tarkastelimme ohjelmistotestaajien vahvistusharhaa tutkimalla aikataulupaineen vaikutusta vahvistusharhaan ja testaajien käsitykseen testauksen tehokkuudesta. Lisäksi kysymme, mitkä muut tekijät johtavat ohjelmistotestauksen vahvistusharhaan, ja millä tavoin. Menetelmä: Ensiksi tarkastelimme ohjelmistotekniikan kognitiivisten harhojen viimeisintä tutkimusta systemaattista kirjallisuuskartoituksella. Sitten tutkimme kokeellisesti, miten yliopisto-opiskelijat soveltuvat käytettäväksi tutkimusjoukkona vahvistusharhan kokeellisessa tutkimuksessa. Kokeellinen tutkimus, johon osallistui 42 opiskelijaa (aloittelevaa ammattilaista), tarkasteli vahvistusharhan lisääntymistä aikataulupaineen vaikutuksesta. Toinen kokeellinen tutkimus, johon osallistui 87 aloittelevaa ammattilaista, tarkasteli ohjelmistotestaajien käsitystä testauksen tehokkuudesta aikataulupaineen alla. Kahdeltatoista ammattilaiselta haastattelemalla kerätystä tutkimusaineistosta tarkasteltiin ankkuroidun teorian menetelmällä muiden mahdollisten tekijöiden vaikutusta vahvistusharhaan. Tulokset: Ankkuroidussa teoriassa aikataulupaine osoittautui merkittäväksi vahvistusharhan tekijäksi. Ammattimaiset ohjelmistotestaajat haluavat mieluummin validoida ohjelmiston oikean toiminnan aikataulupaineessa. Toisessa kokeellisessa tutkimuksessa aikataulupaine ei kuitenkaan lisännyt merkittävästi testaajien vahvistusharhaa, vaan testaajien vahvistusharha ilmeni merkittävästi aikataulupaineista riippumatta. Myös käsitys työn tehokkuudesta säilyi riippumatta aikataulupaineesta. Johtopäätös: Ohjelmistotestaajien on syytä kehittää tietoisuuttaan vahvistusharhasta ja parantaa käsitystään työn tehokkuudesta parantaakseen testaustyötä. Teollisuudessa automaattinen testaus voi lieventää aikataulupaineen aiheuttamaa vahvistusharhaa nopeuttamalla testisarjoja