Inference in mixed hidden markov models and applications to medical studies

The aim of the present paper is to document the need for adapting the definition of hidden Markov models (HMM) to population studies, as well as for corresponding learning methodologies. In this article, mixed hidden Markov models (MHMM) are introduced through a brief state of the art on hidden Markov models and related applications, especially focusing on disease related problems. Making the main assumption that a given pathology can be considered at different stages, hidden Markov models have for example already been used to study epileptic activity or migraine. Mixed-effects hidden Markov models have been newly introduced in the statistical literature. The notion of mixed hidden Markov models is particularly relevant for modeling medical symptoms, but the data complexity generally requires specific care and the available methodology for MHMM is relatively poor. Our new approach can be briefly described as follows. First, we suggest to estimate the population parameters with the SAEM (Stochastic Approximation EM) algorithm, which has the property to converge quickly. The well-known forward recursions developed for HMM allow to compute easily the complete likelihood at each step of the MCMC procedure used within SAEM. Then, for dealing with the individuals, we suggest to estimate each set of individual parameters with the MAP (Maximum A Posteriori) of the parameter distributions. Finally, the hidden state sequences are decoded using the Viterbi algorithm. Some Monte-Carlo experiments are presented to illustrate the accuracy of our algorithms.Cet article veut montrer la nécessité d’étendre la définition des modèles de Markov cachés (HMM), ainsi que leurs méthodes d’estimation au cadre des études de population. Nous motivons alors les intérêts des modèles de Markov cachés à effets mixtes (MHMM) au travers d’un état de l’art succinct sur les modèles de Markov cachés et leurs nombreuses applications. Nous nous limiterons à des problématiques médicales. Dans ce cadre, les modèles de Markov cachés supposent que l’évolution des maladies peut s’interpréter à travers différents états. En effet, la distinction de divers stades évolutifs dans la maladie justifie l’application de modèles de Markov cachés à certaines pathologies, comme cela a déjà été le cas pour la migraine, ou encore l’épilepsie. La définition des modèles de Markov cachés à effets mixtes est très récente. Ces nouveaux modèles sont des candidats intéressants pour la modélisation de symptômes. Les données utilisées sont complexes par leur structure et nécessitent toutefois une démarche d’analyse particulière. En outre, les méthodes d’apprentissage pour les MHMM restent peu nombreuses. Notre démarche est la suivante. Pour commencer, nous proposons d’estimer les paramètres de population au moyen de l’algorithme SAEM (Stochastic Approximation EM), dont la convergence est rapide. La procédure forward développée pour les HMM permet ici un calcul simple de la vraisemblance complète à chaque étape de la procédure MCMC de l’algorithme. Ensuite, les paramètres individuels sont obtenus par maximisation a posteriori de leur distribution. Enfin, les séquences d’états les plus probables pour chaque individu sont estimées par l’algorithme de Viterbi. Une étude par simulations Monte-Carlo illustre les propriétés de nos algorithmes