Evaluation of a decision-aid tool for prioritization of admissions to the intensive care unit

Introdução: Triagem para admissão em unidades de terapia intensiva (UTIs) é realizada rotineiramente e é comumente baseada somente no julgamento clínico, o que pode mascarar vieses e preconceitos. Neste estudo, foram avaliadas a reprodutibilidade e validade de um algoritmo de apoio a decisões de triagem em UTI. Também foi avaliado o efeito da implementação de um instrumento de auxílio à tomada de decisão para a priorização de vagas de UTI nas decisões de admissão em UTI. Foi avaliada, ainda, a acurácia da predição prognóstica dos médicos na população de pacientes em deterioração clínica aguda. Métodos: Para o primeiro objetivo do estudo, um algoritmo computadorizado para auxiliar as decisões de priorização de vagas em UTI foi desenvolvido para classificar pacientes nas categorias do sistema de priorização da \"Society of Critical Care Medicine (SCCM)\". Nove médicos experientes (experts) avaliaram quarenta vinhetas clínicas baseadas em pacientes reais. A referência foi definida como as prioridades classificadas por dois investigadores com acesso ao prontuário completo dos pacientes. As concordâncias entre as prioridades do algoritmo com as prioridades da referência e com as prioridades dos experts foram avaliadas. As correlações entre a prioridade do algoritmo e o julgamento clínico de adequação da admissão na UTI em contexto com e sem escassez de vagas também foram avaliadas. A validade foi ainda avaliada através da aplicação do algoritmo, retrospectivamente em uma coorte de 603 pacientes com solicitação de vagas de UTI, para correlação com desfechos clínicos. Para o segundo objetivo do estudo, um estudo prospectivo, quaseexperimental foi conduzido, antes (maio/2014 a novembro/2014, fase 1) e após (novembro/2014 a maio/2015, fase 2) a implementação de um instrumento de auxílio à tomada de decisão, que foi baseado no algoritmo descrito acima. Foi avaliado o impacto da implementação do instrumento de auxílio à tomada de decisão na ocorrência de admissões potencialmente inapropriadas na UTI em uma coorte de pacientes com solicitações urgentes de vaga de UTI. O desfecho primário foi a proporção de solicitações de vaga potencialmente inapropriadas que foram admitidas na UTI em até 48 horas após a solicitação. Solicitações de vaga potencialmente inapropriadas foram definidas como pacientes prioridade 4B, conforme diretrizes da SCCM de 1999, ou prioridade 5, conforme diretrizes da SCCM de 2016. Foram realizadas análises multivariadas com teste de interação entre fase e prioridades para avaliação dos efeitos diferenciados em cada estrato de prioridade. Para o terceiro objetivo do estudo, a predição prognóstica realizada pelo médico solicitante foi registrada no momento da solicitação de vaga de UTI. Resultados: No primeiro objetivo do estudo, a concordância entre as prioridades do algoritmo e as prioridades da referência foi substancial, com uma mediana de kappa de 0,72 (IQR 0,52-0,77). As prioridades do algoritmo evidenciaram uma maior reprodutibilidade entre os pares [kappa = 0,61 (IC95% 0,57-0,65) e mediana de percentagem de concordância = 0,64 (IQR 0,59-0,70)], quando comparada à reprodutibilidade entre os pares das prioridades dos experts [kappa = 0,51 (IC95% 0,47-0,55) e mediana de percentagem de concordância = 0,49 (IQR 0,44-0,56)], p=0,001. As prioridades do algoritmo também foram associadas ao julgamento clínico de adequação da admissão na UTI (vinhetas com prioridades 1, 2, 3 e 4 seriam admitidas no último leito de UTI em 83,7%, 61,2%, 45,2% e 16,8% dos cenários, respectivamente, p < 0,001) e com desfechos clínicos reais na coorte retrospectiva, como admissão na UTI, consultas com equipe de cuidados paliativos e mortalidade hospitalar. No segundo objetivo do estudo, 2374 solicitações urgentes de vaga de UTI foram avaliadas, das quais 1184 (53,8%) pacientes foram admitidos na UTI. A implementação do instrumento de auxílio à tomada de decisão foi associada com uma redução de admissões potencialmente inapropriadas na UTI, tanto utilizando a classificação de 1999 [adjOR (IC95%) = 0,36 (0,13-0,97), p = 0,043], quanto utilizando a classificação de 2016 [adjOR (IC95%) = 0,35 (0,13-0,96, p = 0,041)]. Não houve diferença em mortalidade entre as fases 1 e 2 do estudo. No terceiro objetivo do estudo, a predição prognóstica do médico solicitante foi associada com mortalidade. Ocorreram 593 (34,4%), 215 (66,4%) e 51 (94,4%) óbitos nos grupos com prognóstico de sobrevivência sem sequelas graves, sobrevivência com sequelas graves e nãosobrevivência, respectivamente (p < 0,001). Sensibilidade foi 31%, especificidade foi 91% e a área sob a curva ROC foi de 0,61 para predição de mortalidade hospitalar. Após análise multivariada, a gravidade da doença aguda, funcionalidade prévia e admissão na UTI foram associadas com uma maior chance de erro prognóstico, enquanto que uma predição de pior prognóstico foi associada a uma menor chance de erro prognóstico. O grau de expertise do médico solicitante não teve efeito na predição prognóstica. Discussão/Conclusão: Neste estudo, um algoritmo de apoio a decisões de triagem em UTI demonstrou boa reprodutibilidade e validade. Além disso, a implementação de um instrumento de auxílio à tomada de decisões para priorização de vagas de UTI foi associada a uma redução de admissões potencialmente inapropriadas na UTI. Também foi encontrado que a predição prognóstica dos médicos solicitantes foi associada a mortalidade hospitalar, porém a acurácia foi pobre, principalmente devido a uma baixa sensibilidade para detectar risco de morteIntroduction: Intensive care unit (ICU) admission triage is performed routinely and is often based solely on clinical judgment, which could mask biases. In this study, we sought to evaluate the reliability and validity of an algorithm to aid ICU triage decisions. We also aimed to evaluate the effect of implementing a decision-aid tool for ICU triage on ICU admission decisions. We also evaluated the accuracy of physician\'s prediction of hospital mortality in in acutely deteriorating patients. Methods: For the first objective of the study, a computerized algorithm to aid ICU triage decisions was developed to classify patients into the Society of Critical Care Medicine\'s prioritization system. Nine senior physicians evaluated forty clinical vignettes based on real patients. Reference standard was defined as the priorities ascribed by two investigators with full access to patient\'s records. Agreement of algorithm-based priorities with the reference standard and with intuitive priorities provided by the physicians were evaluated. Correlations between algorithm prioritization and physician\'s judgment of appropriateness of ICU admission in scarcity and non-scarcity settings were also evaluated. Validity was further assessed by retrospectively applying this algorithm to 603 patients with requests for ICU admission for association with clinical outcomes. For the second objective of the study, a prospective, quasi-experimental study was conducted, before (May 2014 to November 2014, phase 1) and after (November 2014 to May 2015, phase 2) the implementation of a decision-aid tool for ICU admission triage, which was based on the aforementioned algorithm. We assessed the impact of the implementation of the decision-aid tool in potentially inappropriate ICU admissions in a cohort of patients referred for urgent ICU admission. Primary outcome was the proportion of potentially inappropriate ICU referrals that were admitted to the ICU in 48 hours following referral. Potentially inappropriate ICU referrals were defined as priority 4B patients, as described by the 1999 Society of Critical Care Medicine (SCCM) guidelines and as priority 5 patients, as described by the 2016 SCCM guidelines. We conducted multivariate analyses and evaluated the interaction between phase and triage priorities to assess for differential effects in each priority strata. For the third objective of the study, physicians\' prognosis and other variables were recorded at the moment of ICU referral. Results: On the first objective of the study, agreement between algorithm-based priorities and the reference standard was substantial, with a median kappa of 0.72 (IQR 0.52-0.77). Algorithm-based priorities demonstrated higher interrater reliability [overall kappa of 0.61 (95%CI 0.57-0.65) and median percent agreement of 0.64 (IQR 0.59-0.70)] than physician\'s intuitive prioritization [overall kappa of 0.51 (95%CI 0.47-0.55) and median percent agreement of 0.49 (IQR 0.44-0.56)], p=0.001. Algorithm-based priorities were also associated with physicians\' judgment of appropriateness of ICU admission (priorities 1, 2, 3 and 4 vignettes would be admitted to the last ICU bed in 83.7%, 61.2%, 45.2% and 16.8% of the scenarios, respectively, p < 0.001) and with actual ICU admission, palliative care consultation and hospital mortality in the retrospective cohort. On the second objective of the study, of 2374 urgent ICU referrals, 1184 (53.8%) patients were admitted to the ICU. Implementation of the decision-aid tool was associated with a reduction of potentially inappropriate ICU admissions using the 1999 [adjOR (95% CI) = 0.36 (0.13-0.97), p = 0.043] or 2016 [adjOR (95%CI) = 0.35 (0.13-0.96, p = 0.041)] definitions. There was no difference on mortality between phases 1 and 2. On the third objective of the study, physician\'s prognosis was associated to hospital mortality. There were 593 (34.4%), 215 (66.4%) and 51 (94.4%) deaths in the groups ascribed a prognosis of survival without disabilities, survival with severe disabilities or no survival, respectively (p < 0.001). Sensitivity was 31%, specificity was 91% and the area under the ROC curve was 0.61 for prediction of mortality. After multivariable analysis, severity of illness, performance status and ICU admission were associated to an increased likelihood of incorrect classification, while worse predicted prognosis was associated to a lower chance of incorrect classification. Physician\'s level of expertise had no effect on predictive ability. Discussion/Conclusion: In this study, a ICU admission triage algorithm demonstrated good reliability and validity. Moreover, the implementation of a decision-aid tool for ICU triage was associated with a reduction of potentially inappropriate ICU admissions. It was also found that physician\'s prediction was associated to hospital mortality, but overall accuracy was poor, mainly due to low sensitivity to detect mortality ris