A conceptual framework for generating insights from log analysis in support of mHealth App evaluations

Thesis (MEng)--Stellenbosch University, 2022.ENGLISH ABSTRACT: As the digital health domain, particularly mobile health apps (mHealth), continues to grow, considerable benefits exist for addressing resource-constrained healthcare challenges. Evidence supporting the use, implementation, and sustainability of the Apps are required to realise these benefits. Unfortunately, traditional Monitoring and Evaluation (M&E) methods are not suited to Apps’ fast-paced agile developments, resulting in a lack of the required evidence base. However, these Apps generate a plethora of log data that provide evidence of the user-technology interactions. Consequently, the log data could be used to support the needed M&E practices for mHealth Apps. Currently, there is a lack of structure and standards required for log analysis to contribute to M&E practices and move beyond descriptive statistics. This research project addresses this need by implementing a Design Science Research (DSR) approach to develop a conceptual framework. The VILA (Valuable Insights from Log Analysis) Framework, developed in this study, structures how insights can be generated from log analysis to support the M&E practices of mHealth Apps. It thereby contributes to the increased use of log data towards building the required evidence base for the support and sustainability of mHealth initiatives. The research design implemented is divided into two phases and five stages. Phase 1 (Theoretical component) incorporates two rigour cycles to inform the first design cycle. A preliminary review, two narrative overviews, an umbrella review, and a scoping review identify the necessary M&E, Digital Health, and Data Science concepts and categories to inform the conceptual framework. The existing M&E frameworks for mHealth Apps are identified and used to develop domain concepts where log analysis would be able to contribute. Thereby, the preliminary VILA Framework is developed based on the existing knowledge base. Next, the research design’s Phase 2 (Evaluation component) uses three stages to evaluate and refine the VILA Framework, thereby ensuring the practical value of the artefact. The VILA Framework is evaluated using two relevance cycles and one change and impact cycle according to the DSR approach. The first relevance cycle evaluates the efficacy, quality, and generalisability of the preliminary VILA Framework using expert reviews. The expert reviews consist of semi-structured interviews and a questionnaire with eight South African subject matter experts. The expert reviews confirm the quality and efficacy of the VILA Framework and highlight findings such as the need for a structured process, the challenges of log data, and the generalisability of the VILA Framework. During the second design cycle, the findings are translated into conceptual and structural improvements to develop the refined VILA Framework. The second relevance cycle applies the refined VILA Framework to a real-world case study to structure the log analysis of a South African App. The case study incorporates quantitative and qualitative data analysis, interviews, and four focus groups to evaluate the validity, utility, applicability, and sustainability of the VILA Framework. The case study outcomes include improvement suggestions and future recommendations for the VILA Framework and the company’s M&E practices. Thereby, the case study benefits the participating company and the researcher, establishing the value of the DSR approach and the VILA Framework. Finally, the case study findings are implemented to develop the final VILA Framework (design cycle 3). This research project contributes Level 1 and Level 2 knowledge contributions by providing the developed artefact (i.e., VILA Framework) and documenting its development and evaluation processes. Therefore, adhering to the pragmatic paradigm and DSR principles, the VILA Framework suffices the problem statement. It benefits researchers and practitioners who aim to standardise log analyses or improve the M&E of mHealth Apps. In addition, the project also highlights valuable research topics for future recommendations to improve or optimise the VILA Framework or research within this scope.AFRIKAANSE OPSOMMING: Aangesien die digitale gesondheidsdomein, veral mobiele gesondheidstoepassings (mGesondheidstoeps), aanhou groei, is daar aansienlike voordele om hulpbronbeperkte gesondheidsorguitdagings aan te spreek. Bewyse wat die gebruik, implementering en volhoubaarheid van die toepassings ondersteun, word vereis om hierdie voordele te verwesenlik. Ongelukkig is tradisionele Monitering en Evaluasie (M&E) metodes nie geskik vir Toeps se vinnige behendige ontwikkelings nie, wat lei tot 'n gebrek aan die vereiste bewysebasis. Hierdie toepassings genereer egter 'n oorvloed logdata wat bewys lewer van die gebruiker-tegnologie interaksies. Gevolglik kan die logdata gebruik word om die nodige M&E-praktyke vir mGesondheidstoeps te ondersteun. Tans is daar 'n gebrek aan struktuur en standaarde wat vereis word vir log-analise om by te dra tot M&E praktyke en verby beskrywende statistiek te beweeg. Hierdie navorsingsprojek spreek hierdie behoefte aan deur 'n “Design Science Research” (DSR)-benadering te implementeer om 'n konseptuele raamwerk te ontwikkel. Die VILA (“Valuable Insights from Log Analysis”) Raamwerk, soos ontwikkel in die studie, struktureer hoe insigte uit log-analise gegenereer kan word om die M&E-praktyke van mGesondheidstoeps te ondersteun. Dit dra daardeur by tot die verhoogde gebruik van logdata om die vereiste bewysebasis vir die ondersteuning en volhoubaarheid van mGesondheids-inisiatiewe te bou. Die navorsingsontwerp wat geïmplementeer is, word in twee fases en vyf subfases verdeel. In Fase 1 (Teoretiese komponent) word twee deeglikheidsiklusse bygewerk om die eerste ontwerpsiklus in te lig. 'n Voorlopige oorsig, twee narratiewe oorsigte, 'n sambreeloorsig en 'n omvangsoorsig lei tot die identifisering van die nodige M&E, Digitale Gesondheid en Datawetenskap konsepte en kategorieë om die konseptuele raamwerk te ontwikkel. Die bestaande M&E-raamwerke vir mGesondheidstoeps word geïdentifiseer en gebruik om domeinkonsepte te ontwikkel waar log-analise ‘n bydra sou kon maak. Daardeur word die voorlopige VILA Raamwerk ontwikkel op grond van die bestaande kennisbasis. Vervolgens word die navorsingsontwerp se Fase 2 (Evalueringskomponent), wat bestaan uit drie subfases, gebruik om die VILA Raamwerk te evalueer en verfyn, daardeur word die praktiese waarde van die artefak verseker. Die VILA Raamwerk word geëvalueer deur twee relevansiesiklusse en een verandering- en impaksiklus volgens die DSR-benadering te gebruik. Die eerste relevansiesiklus evalueer die doeltreffendheid, kwaliteit en veralgemeenbaarheid van die voorlopige VILA Raamwerk deur deskundige resensies te gebruik. Die deskundige resensies bestaan uit semi-gestruktureerde onderhoude en 'n vraelys met agt Suid-Afrikaanse vakkundiges. Die deskundige resensies bevestig die kwaliteit en doeltreffendheid van die VILA Raamwerk en beklemtoon bevindinge soos die behoefte aan 'n gestruktureerde proses, die uitdagings van logdata en die veralgemeenbaarheid van die VILA Raamwerk. Tydens die tweede ontwerpsiklus word die bevindinge in konseptuele en strukturele verbeterings omgesit om die verfynde VILA Raamwerk te ontwikkel. Die tweede relevansiesiklus pas die verfynde VILA Raamwerk toe op 'n werklike gevallestudie om die log analise van 'n Suid-Afrikaanse Toep te struktureer. Die gevallestudie inkorporeer kwantitatiewe en kwalitatiewe data-analise, onderhoude en vier besprekingsgroepe om die geldigheid, bruikbaarheid, toepaslikheid en volhoubaarheid van die VILA Raamwerk te evalueer. Die gevallestudie-uitkomste sluit verbeteringsvoorstelle en toekomstige aanbevelings vir die VILA Raamwerk en die maatskappy se M&E praktyke in. Daardeur bevoordeel die gevallestudie die deelnemende maatskappy en die navorser, wat die waarde van die DSR-benadering en die VILA Raamwerk vasstel. Laastens word die bevindinge van die gevallestudie geïmplementeer om die finale VILA Raamwerk (ontwerpsiklus 3) te ontwikkel. Hierdie navorsingsprojek dra Vlak 1- en Vlak 2-kennisbydraes by deur die ontwikkelde artefak (VILA Raamwerk) te verskaf en die ontwikkelings- en evalueringsprosesse daarvan te dokumenteer. Daarom, met die nakoming van die pragmatiese paradigma en DSR-beginsels, is die VILA Raamwerk voldoende om die probleemstelling aan te spreek. Dit bevoordeel navorsers en praktisyns wie daarop mik om log-ontledings te standaardiseer of die M&E van mGesondheidstoeps te verbeter. Daarbenewens beklemtoon die projek ook waardevolle navorsingsonderwerpe vir toekomstige werk om die VILA-raamwerk of toekomstige navorsing binne hierdie navorsingsomvang te verbeter of te optimaliseer.Master