A process model for quality in use evaluation on clinical decision support systems

Developing or purchasing software is an expensive investment and needs to be justified. Furthermore, the software must be useful in its purpose, reliable, efficient and, among other characteristics, meet the expectations of users [1, 2]. It would be no different in the case of a clinical Decision Support System - CDSS. CDSS are systems developed to support clinicians and other health professionals in a medical decision making [3]. They are developed within a clinical context, following medical guidelines, with varied purposes such as diagnoses [4, 5, 6] patient monitoring [7, 8, 9], prevention [10] and disease treatment [11, 12]. Conversely, even with all the benefits offered by a CDSS, its acceptance in the medical field is still a matter of debate [13, 14]. The CDSS acceptance is linked to the perception of the end user, such as 1) the system’s ease of use and utility, 2) the quality of its results and its reliability [14], 3) the contextual accessibility of the system, sometimes not included in the health professional’s routine and workflow, and 4) the fact that numerous CDSSs are not integrated with existing systems [15]. One manner to extend the use and disseminate positive contributions of CDSSs to the medical world is to develop them in a reliable and useful way. For this, one must follow the best practices of software engineering (SE, acronym in English) [16] and be concerned with its quality, both in the design and development process and in its effective use. Evaluating the quality of the software is to measure its characteristics and sub-characteristics of quality. In order to better structure the assessment, a series of international standards, with models and frameworks, were developed for assisting software developers in assessing the quality of software products. The latest series is the ISO/IEC 25000 - System and Software Quality Requirements and Evaluation (SQuaRE) [17]. Two of the SQuaRE divisions are addressed in this thesis: 1) Division of quality models standard (ISO/IEC 25010) [18], and 2) Quality measurement division standard (ISO/IEC 25022) [19]. The ISO/IEC 25010 are divided in product quality model and the quality model in use. Quality in use (QiU), a model of ISO/IEC 25010, is the focus of this study, through its evaluation in the context of a CDSS. The quality in use model refers to the quality of the software when executed, mentioning the result of the interaction between users and the software system/product in a specific context. This model consists of five quality characteristics: • Effectiveness - means the level of precision and completeness with which users achieve their specific goals when using the system; • Efficiency - refers to the resources spent to achieve the goals and its measure is related to the level of effectiveness achieved with the consumed resources; • Satisfaction - refers to whether user requirements are satisfied in a particular context of system use; • Freedom from risk - refers to the degree to which the quality of a system reduces or avoids potential risks to human life, the economic situation, and health of the environment; • Context coverage - deals with the use of the system in all specific contexts and/or in contexts that extend beyond the initially identified contexts. Context completeness and flexibility are the sub-characteristics that represent context coverage. Thus, when measuring the quality of a CDSS, we must consider both the context of use and the choice of the characteristic and sub-characteristic that best suits the purpose of the measurement [20]. The QiU model provides a powerful contribution to the practice of evaluating a system and determining its quality. According to Harrison et al. [21], Effectiveness, Efficiency and Satisfaction are considered the key criteria to reflect the quality of use. Therefore, these QiU characteristics meet the needs and expectations of the users of the systems, in our case of CDSSs, as they consider the user experience. As a contribution, we proposed a process model to evaluate two QiU characteristics in a CDSS: satisfaction and efficiency. We believe these characteristics are important in the evaluation of a CDSS because, due to its links with the user experience and the usability of the system, when measured, can corroborate the quality of the CDSS and mitigate the non-use and non-acceptance of this type of software. Other contributions from our work are 1) in the academic context, a significant study in the area of software quality, focusing on its characteristics, especially on the quality in use. A guideline for collecting and measuring these characteristics was built into our process model; 2) in the area of software development, professionals can make use of a simple and adaptable process, applicable to other types of systems, to measure the quality-in-use characteristics of their products.Desenvolver ou adquirir software é um investimento caro e precisa ser justificado. Além de útil, o sistema deve ser confiável, eficiente e, entre outras características, atender às expectativas dos usuários [1, 2]. Não seria diferente no caso de um sistema de apoio à decisão clínica (CDSS, acrônimo em inglês), sistemas desenvolvidos para apoiar médicos e outros profissionais de saúde na tomada de uma decisão médica [3]. CDSSs são elaborados dentro de um contexto clínico, seguindo guidelines com propósitos variados, sejam para diagnósticos [4, 5, 6], acompanhamento do paciente [7, 8, 9], na prevenção [10] e tratamento de doenças [11, 12]. No entanto, apesar de todo os benefícios oferecidos por um CDSS, sua aceitação na área médica ainda é motivo de debate [13, 14]. Essa aceitação está ligada à percepção do usuário final, como 1) a facilidade de uso e utilidade do sistema; 2) a qualidade dos resultados produzidos e sua confiabilidade [14]; 3) a acessibilidade contextual do sistema, muitas vezes não incluída na rotina e no fluxo de trabalho do profissional de saúde, e 4) o fato de muitos CDSSs não estarem integrados aos sistemas existentes [15]. Uma forma de estender o uso de CDSSs e disseminar suas contribuições positivas entre os profissionais de saúde é garantir a confiabilidade de seus resultados e a satisfação do usuáriofinal. Para tal deve-se seguir as melhores práticas da engenharia de software (SE, acrônimo em inglês) em sua concepção [16]. Isso implica em preocupar-se com a qualidade do sistema tanto no processo do projeto e desenvolvimento quanto em sua efetiva utilização. Uma forma de certificar se um software obedece a essa premissa é realizando avaliações de qualidade. Avaliar a qualidade do software é medir suas características e subcaracterísticas de qualidade. Para uma melhor estruturação desta medição foram desenvolvidos séries de padrões internacionais como guidelines de avaliação de qualidade de produtos de software. A série mais recente trata-se da ISO/IEC 25000 System and Software Quality Requirements and Evaluation (SQUARE) [17]. Dois padrões desta série foram abordadas nesta tese, sendo 1) o modelos de qualidade de software e sistemas (ISO/IEC 25010) [18], no qual trabalhamos especificamente com o modelo de qualidade em uso, e 2) o padrão de medição da qualidade em uso (ISO/IEC 25022) [19]. Qualidade em uso é o foco desta tese, através de sua avaliação no contexto de utilização de um CDSS. O Modelo de qualidade em uso trata da qualidade do software quando em execução, referindose ao resultado da interação dos usuários e o software em um cenário específico. Este modelo é composto de cinco características de qualidade: • Eficácia (ou efetividade) - esta característica representa o nível de precisão e completude com que os usuários alcançam os objetivos específicos, durante a utilização do sistema ou produto de software; • Eficiência - sua medição representa o nível de eficácia alcançada em relação aos recursos consumidos para o alcance das metas; • Satisfação - trata do quanto as necessidades do usuário são satisfeitas dentro de um determinado contexto de uso do sistema ou produto de software. Esta característica é composta pelas subcaracterísticas Utilidade, Confiança, Prazer e Conforto do usuário em relação ao sistema; • Livre de risco - trata do grau em que a qualidade de um sistema ou produto permite mitigar ou evitar riscos potenciais à vida humana, à situação econômica, à saúde ou ao meio ambiente, sendo estas suas três subcaracterísticas; • Cobertura de contexto - trata do uso do sistema em todos os contextos específicos e/ou em contextos além dos inicialmente identificados, sendo composta pelas subcaracterísticas completude de contexto e flexibilidade do sistema. Assim, para se medir a qualidade de um CDSS deve-se considerar tanto o contexto de utilização quanto a escolha da característica e subcaracterística que melhor condizem ao propósito da avaliação [20]. De acordo com Harrison et al. [21], Eficácia, Eficiência e Satisfação são considerados os principais critérios a serem avaliados para refletir a qualidade de uso. Tais características de qualidades em uso refletem o atendimento das necessidades e expectativas dos usuários dos sistemas, em especial ao usuário primário ou final, uma vez que estão diretamente relacionadas com a experiência do usuário. O modelo de qualidade em uso fornece uma contribuição poderosa para a prática de avaliar um sistema e determinar sua qualidade. Como contribuição, propusemos um modelo de processo para avaliação de qualidade em uso de um CDSS através da medição, a priori, de duas características de qualidade - satisfação e eficiência. Acreditamos que tais características são importantes na avaliação de um CDSS devido estreita relação destas com a experiência do usuário-final e a usabilidade do sistema. Assim, quando mensuradas, tais características podem corroborar com a qualidade do CDSS e mitigar a não utilização e não aceitação desse tipo de software. Nosso modelo proposto é definido por cinco (5) fases, a saber: 1) Identificação de cenário e contexto de uso do sistema, 2) seleção das medidas, métricas e métodos para mensurar as características, 3) a medição da qualidade, 4) a análise dos valores encontrados na medição e 5) a apresentação dos resultados obtidos. O resultado da aplicação do modelo de processo traduz-se em um conjunto de informações que nortearão um melhoramento do software, caso a medição das características fique abaixo de um padrão pré-definido pelos atores envolvidos no processo de medição do sistema. Por outro lado, se a medição for positiva, isso vem ratificar a qualidade do sistema e ações poderão ser tomadas para disseminar esse bom resultado, buscando a adesão de mais utilizadores. Como forma de validação do modelo proposto, após sua utilização para identificação de cenários e contexto-de-uso possíveis de serem mensurados, foi apresentado um CDSS da área oncológica a profissionais de saúde, estudantes de medicina e profissionais da área de qualidade de software que, ao final de sua utilização, responderam a um inquérito com o objetivo de avaliar o sistema. A aplicação se deu de forma online, dado a necessidade de mantermos o distanciamento social e o de cumprirmos as orientações sanitárias. As respostas serviram como fonte de dados para a medição das características de qualidadeem- uso do sistema. Os resultados da aplicação revelou que nosso modelo de processo de avaliação é válido, relevante e de fácil utilização para identificar as características importantes em um sistema, bem como suas medições por meio das funções matemáticas do modelo ISO/IEC 25022. Outras contribuições do nosso trabalho, temos 1) no âmbito acadêmico, um estudo significativo na área de qualidade de software, com foco em suas características, especialmente na qualidade em uso. Uma guideline para a coleta e mensuração dessas características foi construída em nosso modelo de processo; 2) na área de desenvolvimento de software, os profissionais podem contar com um processo simples e adaptável, aplicável a outros tipos de sistema, para mensuração da qualidade em uso de seus produtos.The research has been partially funded by the FCT/MCTES through national funds, and when applicable, co-funded EU funds under the project UIDB/EEA/50008/2020 and Operação Centro 01-0145-FEDER-000019 – C4 – Centro de Competências em Cloud Computing, co-financed by the Programa Operacional Regional do Centro (CENTRO 2020), through the Sistema de Apoio à Investigação Científica e Tecnológica – Programas Integrados de IC&DT. I would also like to acknowledge the contribution of the COST Action IC1303: AAPELE—Archi- tectures, Algorithms and Protocols for Enhanced Living Environments and COST Action CA16226; SHELD-ON—Indoor living space improvement: Smart Habitat for the Elderly, supported by COST (European Cooperation in Science and Technology)