Modélisation et apprentissage avec des mélanges d'experts pour les données fonctionnelles et les données distribuées

Ette thèse étudie les problèmes d'extension des modèles de mélange d'experts (ME) pour traiter les données fonctionnelles et le développement d'une approche d'apprentissage distribué pour les modèles ME.Les modèles ME ont été étudiés pour des données hétérogènes de grande dimension, mais l'application directe des modèles ME existants aux données brutes peut limiter les performances car ils ignorent la corrélation entre les variables, une nature intrinsèque des données fonctionnelles, et ne capturent donc pas de manière adéquate les fonctions fonctionnelles inhérentes structure des données.Une nouvelle famille de modèles ME, appelée functional mixture of experts (FME), est proposée dans cette thèse, dont les membres comprennent FME scalaire-sur-fonction, FME fonction-sur-scalaire et FME fonction-sur-fonction.Nous proposons différentes approches pour les estimations du modèle. En particulier, via des méthodes de régularisation appropriées, les réseaux d'experts fonctionnels et de gating estimés peuvent être contraints d'avoir des formes lisses et interprétables.Nous développons des algorithmes EM efficaces pour maximiser les fonctions de log-vraisemblance des données observées correspondantes, et construisons des études expérimentales approfondies pour illustrer la performance des modèles proposés.L'estimation des paramètres pour les modèles ME a longtemps été supposée être effectuée sur une seule machine. Cependant, cela peut prendre beaucoup de temps et parfois ne pas être possible en raison de limitations de mémoire, en particulier dans le cas de données fonctionnelles.Bien que les approches distribuées aient été largement étudiées pour de nombreux modèles statistiques, en général, elles visent principalement à paralléliser le calcul du modèle. Cependant, tous les calculs dans les algorithmes/modèles existants ne peuvent pas être parallélisés efficacement, par la nature des formules, ou par le coût élevé de la communication entre les machines pendant les calculs.Par conséquent, la parallélisation de l'inférence du modèle est parfois une approche privilégiée. Il effectue une inférence standard sur des machines locales pour obtenir des estimateurs locaux, puis les transmet à une machine centrale où ils sont agrégés.Dans cette thèse, une approche d'apprentissage distribué est proposée pour les modèles ME. Sur la base de la minimisation d'une divergence de transport prévue proposée, les estimateurs locaux sont agrégés pour obtenir un estimateur réduit cohérent avec l'estimateur global, l'estimateur estimé sur la base de l'ensemble de données complet. Des études expérimentales sont construites pour démontrer la performance de notre approche.This thesis studies the problems of extending mixture of experts (ME) models to deal with functional data and developing distributed learning approach for ME models.ME models have been studied for high-dimensional heterogeneous data, however applying the existing ME models directly to raw data may limit the performance because they ignore the correlation between variables, an intrinsic nature of functional data, and therefore do not adequately capture the inherent functional structure of the data.A new family of ME models, called functional mixture of experts (FME), is proposed in this thesis, whose members include scalar-on-function FME, function-on-scalar FME, and function-on-function FME.We propose different approaches for the model estimations. Especially, via appropriate regularization methods, the estimated functional expert and gating networks can be constrained to have smooth and interpretable shapes.We develop efficient EM algorithms to maximize the corresponding observed-data log-likelihood functions and construct extensive experimental studies to illustrate the performance of the proposed models.The parameter estimation for ME models has long been supposed to be done on a single machine. However, this may be very time-consuming and sometimes not possible due to memory limitations, especially in the situation of functional data.Although distributed approaches have been studied widely for many statistical models, in general, they mostly approach to parallelize the model computation. However, not all the computations in the existing algorithms/models can be parallelized effectively, by the nature of the formulas, or by the high cost of communication across the machines during the computations.Therefore, parallelizing the model inference is sometimes a preferred approach. It performs standard inference on local machines to obtain local estimators, then transmits them to a central machine where they are aggregated.In this thesis, a distributed learning approach is proposed for ME models. Based on minimizing a proposed expected transportation divergence, the local estimators are aggregated to obtain a reduced one estimator consistent with the global one, the estimator estimated based on the full dataset. Experimental studies are constructed to demonstrate the performance of our approach