Mixed Hidden Markov Model for Heterogeneous Longitudinal Data with Missingness and Errors in the Outcome Variable

International audienceAnalysing longitudinal declarative data raises many difficulties, such as the processing of errors and missingness in the outcome variable. Moreover, long-term monitored cohorts (commonly encountered in life-course epidemiology) may reveal a problem of time heterogeneity, especially regarding the way subjects respond to the investigator. We propose a Mixed Hidden Markov Model which considers several causes of randomness in response and also enables the effect of a past health outcome to act on present responses through a memory state. Hence, we take into account both errors and missing responses, time heterogeneity, and retrospective questions. We thus propose a Stochastic Expectation Maximization algorithm (SEM), which is less time-consuming than usual EM algorithms to perform the estimation of the parameters of our MHMM. We carry out a simulation study to assess the performances of this algorithm in the context of cancer epidemiology with the British NCDS 1958 cohort. Simulations show that the effect of covariates on the transitions probabilities is estimated with moderate bias. At last, we investigate a brief real data application on the effect of early social class on cancer through a smoking behaviour. It appears that in the female sample we used, the early social class does not mainly act on smoking behaviours. Moreover, more information is needed to compensate for data missingness and declarative errors in the view to improve our statistical analysis. Résumé : L'analyse de données déclaratives longitudinales fait apparaître de nombreuses difficultés, comme le traitement des erreurs et des données manquantes de la variable de sortie. En outre, les cohortes suivies sur le long terme, telles que celles utilisées en épidémiologie "life-course" peuvent soulever un problème d'hétérogénéité du temps, surtout en ce qui concerne la façon de répondre aux questions de l'enquêteur. Nous proposons dans cet article l'introduction d'un modèle de Markov caché mixte qui comprend les possibilités d'erreur et de non-réponse, et permet également de considérer que l'effet d'un résultat de santé passé peut agir sur les réponses actuelles à travers une mémoire d' état. En ce qui concerne les estimations, nous avons proposé d'utiliser un algorithme EM Stochastique (SEM), qui est moins gourmand en temps de calcul que l'algorithme EM usuel utilisant une intégration sur les effets aléatoires. Nous avons effectué une étude par simulation afin d'évaluer les performances de cet algorithme dans le contexte de l'épidémiologie du cancer avec les données de la cohorte britanniques "NCDS 1958". Les simulations ont montré que l'effet des covariables sur les probabilités de transitions a été estimée avec un biais modéré. Enfin, nous avons réalisé une application à des données réelles en étudiant l'effet de la classe sociale précoce sur le cancer à travers un comportement tabagique. Il est apparu que, dans l'échantillon de femmes utilisé pour cette enquête, la classe sociale précoce n'agit pas principalement sur l'usage du tabac. Cependant, plus d'information est nécessaire pour compenser les données manquantes et les erreurs de déclaration et obtenir de meilleurs résultats statistiques