Measurement reliability in a study on family violence and severe acute malnutrition

INTRODUÇÃO: Como parte do programa de investigação sobre violência familiar e desnutrição severa na infância, especificamente um estudo do tipo caso-controle foi avaliada a confiabilidade dos instrumentos utilizados no processo de obtenção de dados. Estudou-se a confiabilidade de quatro componentes do instrumento principal: (a) as Escalas sobre Táticas de Conflitos (Conflicts Tactics Scales - CTS) que medem o grau de conflito/violência familiar; (b) o instrumento CAGE (Cut-down; Annoyed; Guilty & Eye-opener) usado para indicar suspeição de alcoolismo; (c) o NSDUQ (Non-student Drugs Use Questionnaire) que visa aferir o uso de drogas ilícitas; e (d) a medida antropométrica de comprimento. MÉTODO: Para os três primeiros componentes citados foram avaliadas a estabilidade (confiabilidade intra-observador ou teste-reteste) e a equivalência (confiabilidade inter-observador), usando-se os 50 primeiros sujeitos captados no estudo caso-controle de fundo. Para a análise, usou-se o índice Kappa (k) com ajustamento (pseudo-Bayes) para lidar com problemas de estimabilidade. Em relação ao componente "d", foi estudada somente a equivalência (n=73), usando-se o Coeficiente de Correlação Intraclasse (Intra-class Correlation Coefficient - ICC) como estimador. RESULTADOS: Todos os componentes mostraram estabilidade e equivalência aceitáveis. Quanto à estabilidade das CTS, CAGE e NSDUQ, as estimações de k foram em torno de 0,70, 0,78 e 0,85, respectivamente. Em relação à equivalência, encontrou-se os valores de 1,0 para as CTS e NSDUQ e 0,75 para CAGE. A equivalência estimada através do ICC para comprimento foi de 0,99. Algumas situações desviantes foram observadas. Os resultados apontam para uma adequada padronização dos observadores e refletem a boa qualidade do processo de aferição referente ao estudo de fundo, encorajando a equipe de pesquisa a prosseguir com maior segurança.INTRODUCTION: This study is nested within a research program related to family violence and severe childhood malnutrition. Its aim is to evaluate the reliability of the data collection process in a case-control study. Four components of the main instrument are addressed: (a) CTS (Conflict Tactics Scales) used to measure violence at the family level; (b) CAGE (Cut-down; Annoyed; Guilty & Eye-opener) questionnaire used to gnage suspicion of drinking problems; NSDUQ (Non-student Drugs Use Questionnaire) used to indicate illicit drug consumption; and (d) heigth/lenght measurements. METHOD: Stability (intra-observer or test-retest reliability) and equivalence (inter-observer reliability) were evaluated for the cited components (a), (b) and (c). Information was replicated among the first 50 subjects selected for the underlying case-control study. The Kappa index (k) was used in the analysis. A pseudo-Bayes adjustment was carried out in order to handle estimation problems. Regarding (d), only equivalence was evaluated (n=73), using the Intraclass Correlation Coefficient as the estimator. RESULTS: By and large, all components showed acceptable stability and equivalence. Regarding stability, the estimates of k were around 0.70, 0.78 and 0.85, for CTS, CAGE e NSDUQ, respectively. With respect to equivalence, k was 1.0 for CTS and NSDUQ and 0.75 for CAGE. Equivalence for height/length estimated through the ICC was 0.99. Nevertheless, some deviant situations were detected and are further discussed. The results point to an adequate standardization of observers and reflect the good quality of the data collection procedure concerning the main study, encouraging the research team to press forward with greater assurance