Calibration of examiners for the epidemiological examination of dental caries, an evaluation under different diagnostic thresholds

O presente trabalho composto por 4 estudos, teve como objetivo geral avaliar a calibração de examinadores para o exame epidemiológico da cárie dentária, mediante a utilização de diferentes limiares de diagnóstico. A metodologia para os respectivos estudos' consistiu na participação de onze examinadores com experiência prévia em levantamentos epidemiológicos, sendo submetidos a um processo teórico-clínico para a calibração da cárie dentária.Os critérios de diagnóstico adotados foram os da Organização Mundial de Saúde-OMS (WHO,1997), com a inclusão de lesões iniciais ativas em esmalte (LI). Os exames foram realizados em crianças de 6-7 anos de idade com e sem atividade da doença. A análise dos dados foi realizada mediante dois limiares: OMS e OMS+LI. Os objetivos do 1° estudo foram analisar a reprodutibilidade (confiabilidade) intra e inter e intraexaminadores e verificar a acurácia (validade) através da sensibilidade, especificidade, valores preditivos positivo e negativo no período de calibração. O objetivo do 2°estudo foi analisar a reprodutibilidade da calibração em um período de 12 meses de avaliação. Excelentes resultados de' reprodutibilidade intra e interexaminadores foram constatados' para ambos' os limiares de diagnóstico durante todas as fases de calibração. Entretanto, os erros mais relevantes foram relacionados ao componente cariado e às LI. Ao se comparar com um examinador padrão, durante a fase inicial de calibração, valores de moderada a alta acurácia foram observados (0,71-1,00), com menores valores especialmente para a sensibilidade e valor preditivo positivo, ao se incluir o exame das LI (estudo 1). Pôde-se concluir, através dos dois estudos prévios, que a metodologia proposta para calibração de examinadores em pesquisas epidemiológicas, incluindo-se o exame das LI, foi possível e viável para a dentição mista, embora novas estratégias para um melhor treinamento e calibração especificamente das LI, sejam ainda. necessárias. O objetivo do 3° estudo foi apontar, através da estatística Kappa, a forma mais adequada de mensuração da concordância interexaminadores durante o processo de calibração dos examinadores para levantamentos epidemiológicos da cárie dentária. A estatística Kappa foi empregada para o cálculo abrangendo todos os dentes, arcadas dentárias superior e inferior, sextantes e dentes individuais. À exceção da análise para dentes, a qual mostrou quedas acentuadas nos valores, de Kappa, observou-se resultados ge alta produtibilidade interexaminadores, para ambos os limiares, ao se considerar as análises de todos os dentes, arcadas superior/ inferior e sextantes. O objetivo do 4° : estudo foi comparar três medidas: Kappa (K), Porcentagem Geral de Concordância (PGC) e índice Dice (D) utilizadas para se determinar a reprodutibilidade do diagnóstico da cárie em levantamentos epidemiológicos; sob diferentes níveis de detecção da doença. Concluiu-se que o Kappa pode ser considerado como índice de escolha para o cálculo da reprodutibilidade dos examinadores, pode ser um índice de concordância, ajustado. Entretanto, na impossibilidade de seu, uso, recomenda-se a utilização da PGC associada posteriormente ao índice Dice, a fim da se direcionar e aprimorar os examinadores no exame das lesões cariosasThis thesis, comprising 4 studies, aimed al evaluating the examiners' calibration for the dental caries epidemiological survey, under different diagnostic thresholds. Methodology of the 4 studies: Eleven examiners, having experience in epidemiological surveys, were trained for the dental caries calibration. The inclusion criteria were based on those recommended by WHO (WHQ, 1997), including the initial lesions (IL). The examinations were performed in 6-7 year olds with and without history of dental caries. Two caries thresholds were used for data analysis: WHO and WHO+IL. The aim of the 1st study was to analyze the intra-and inter-examiner reproducibility (reliability) and to verify the accuracy (benchmark validity) though sensitivity. (S) specificity (SP), positive (PPV) and negative predictive values (NPV) of this calibration trial. The aim of the 2nd study was to analyze the reproducibility of calibration trial in a 12-month evaluation. lntra -and inter-examiner Kappa showed excellent mean values for both diagnostic thresholds during the calibration phases. However, the most relevant errors were related to the decayed component and to the IL diagnosis. When the results of the benchmark examiner were compared to those of the examiners in the first phase of the evaluation (study 1), moderate to high validity values were observed (0.71 1.00), with some loss mainly for S and PPV, when IL was included. In conclusion, the methodology used to examine the mixed dentition described in the two studies above could be used in epidemiological surveys, although new strategies for a better training and calibration of IL are necessary. The aim of the 3rd study was to develop an adequate approach to measure inter-examiner's agreement during the calibration process under different diagnostic thresholds of dental caries. Kappa statistics (K) was used to analyze the teeth in four stages: all together; the superior, arch; the inferior arch; the sextants; and each tooth individually. The results showed high mean values for inter-examiner reproducibility, concerning both diagnostic thresholds, except for the teeth analyzed individually, which showed a great decrease in Kappa values. The aim of the 4th study was to compare three measuring tools, Kappa (k); General Agreement Percentage (GAP); and Dice Index (D), which are used to determine the reproducibility of examiner?s in surveys under two criteria of dental caries diagnosis. It was concluded that Kappa could be considered the best statistical test for evaluating examiners? agreement for dental caries calibration because it assesses the proportion of agreement ' that is achievable beyond chance. However when it is not possible to be used the authors recommend GAP associated with D to improve the examiners' ability to diagnose the carious lesions