Regularized Mixture of Experts for High-Dimensional Data

International audience.We consider the Mixture of Experts (MoE) modeling for clustering heterogeneous regression data with possibly high-dimensional features and propose a regularized maximum-likelihood estimation based on a dedicated EM algorithm which integrates coordinate ascent updates of the parameters. Unlike state-of-the art regularized MLE for MoE, the proposed modeling does not require an approximate of the regularization. Theproposed algorithm allows to automatically obtaining sparse solutions without thresholding, and includes coordinate ascent updates avoiding matrix inversion, and can thus be scalable. An experimental study shows the good performance of the algorithm in terms of recovering sparse solutions, density estimation, and clustering.Cet article propose un modèle de mélange d'experts pour la classification au-tomatique de données de régression hétérogènes comportant un nombre de prédicteurs po-tentiellement grand. L'estimation parcimonieuse des paramètres s'appuie sur une régularisation de l'estimateur du maximum de vraisemblance pour les experts et les fonctions d'activations, mise en oeuvre par un algorithme EM dédié. La méthode de régularisation proposée, con-trairement aux méthodes de régularisation de l'état de l'art sur les mélanges d'experts, ne se base pas sur une solution approchée et ne nécessite pas de seuillage pour retrouver la solution parcimonieuse. L'étape M de l'algorithme, effectuée par montée de coordonnées, rendant ainsi prometteur le passage de l'algorithme l'échelle. Uneétude expérimentale met enévidence de bonnes performances de l'approche proposé