Analyzing families of experiments in software engineering

Abstract Context: Experiments are commonplace in software engineering (SE). Still, two main limitations impact their suitability to assess the effectiveness of SE treatments (i.e., methods, processes, and tools): (1) their results are restricted to the configuration of the experimental settings, and (2) their results may be unreliable due to the low number of subjects typically participating. With the aim of overcoming the previous weaknesses, SE researchers are collaborating towards the construction of groups of experiments by means of replication (i.e., conducting families of experiments). Disparate aggregation techniques are being applied to aggregate experiments’ results within families. Objective: Understanding the limitations of individual experiment’s results. Identifying the techniques used to aggregate experiments’ results in SE families. Understanding the advantages and disadvantages of each aggregation technique in the SE context. Providing guidelines for analyzing SE families. Method: We identified the aggregation techniques used to aggregate experiments’ results in SE families. Meanwhile, we learned about the advantages and disadvantages of each aggregation technique in the literature on mature experimental disciplines such as medicine and pharmacology. Then, we applied the aggregation techniques on a representative SE family. Finally, we tailored a set of guidelines to analyze SE families based on the guidelines from medicine, but here adapted to the SE context. Results: Families of experiments grant access to the raw data, and to the characteristics of the experiments and the participants. Families are usually comprised of a low number of experiments with small and dissimilar sample sizes and heterogeneous results. Narrative synthesis, aggregated data (AD), individual participant data (IPD), either mega-trial or stratified, and aggregation of p-values were used to analyze SE families. AD and IPD stratified, when used in tandem, seem suitable to analyze SE families. Conclusion: The aggregation techniques used to analyze SE families should be justified in research articles to increase the reliability and transparency of the findings. Guidelines may ease such endeavour.Tiivistelmä Konteksti: Kokeet ovat arkipäiväisiä ohjelmistotuotannossa (SE). Kuitenkin kaksi päärajoitusta vaikuttaa niiden sopivuuteen arvioidakseen SE:n menetelmien, prosessien ja työkalujen tehokkuutta: (1) niiden tulokset rajoittuvat kokeellisten asetelmien kokoonpanoon; (2) niiden tulokset saattavat olla epäluotettavia pienestä osallistujamäärästä johtuen. SE tutkijat tekevät yhteistyötä voittaakseen edellä mainitut rajoitteet rakentamalla kokeiden ryhmiä replikoinnin kautta (eli, suorittavat kokeiden perheitä). Erilaisia koostamistekniikoita sovelletaan perheensisäisten kokeiden tulosten koostamiseen. Tavoite: Ymmärtää yksittäisten kokeiden tuloksien rajoitukset. Tunnistaa tekniikat, joita käytetään perheen kokeiden tuloksien koostamiseen. Ymmärtää jokaisen koostamistekniikan edut ja haitat SE kontekstissa. Tarjota ohjenuoria SE-perheiden analysointiin. Menetelmä: Tunnistimme koostamistekniikat, joita on käytetty SE kokeiden tulosten koostamiseen. Tieteellisen kirjallisuuden avulla, koskien kokeiden tulosten koostamista mm. lääketieteen ja farmakologian aloilta, selvitimme koostamistekniikoiden hyödyt ja haitat. Seuraavaksi sovelsimme koostamistekniikoita edustavaan SE-perheeseen. Lopuksi räätälöitiin ohjenuora SE-perheiden analysointiin, joka perustuu lääketieteeseen ja on muokattu ohjelmistotuotannon kontekstiin sopivaksi. Tulokset: Kokeiden perheet antavat pääsyn raakadataan sekä kokeiden ja osanottajien ominaispiirteisiin. Perheet käsittävät tavallisesti pienen määrän kokeita, joiden näytekoot ovat pieniä ja tulokset heterogeenisiä. Kertomussynteesi, yhdistetty data (AD), yksilöllisen osallistujadatan (IDP) mega-koetta tai kerrostumaa ja p-arvon koostamista on käytetty analysoimaan SE-perheitä. AD ja IDP kerrostumaa yhdessä käytettynä näyttää sopivalta SE-perheiden analysointiin. Johtopäätös: Koostamistekniikat, joita käytetään analysoimaan SE-perheitä, pitäisi olla perusteltuja tieteellisissä julkaisuissa, jotta havaintojen luotettavuutta ja läpinäkyvyyttä voidaan lisätä. Ohjenuorat saattavat helpottaa tällaisia pyrkimyksiä