Modèles Génératifs Profonds : l'échantillonnage en haute dimension revisité

International audienceLes modèles génératifs (GM) permettent d’inférer des modèles de loi pour des observations structurées de grande dimension, qui sont typiques de l'IA moderne. Les modèles génératifs peuvent également être utilisés pour échantillonner de nouveaux exemples, en reliant le problème d'inférence à l'échantillonnage.L'apprentissage de modèles génératifs profonds (MGD) capables de capturer les structures de dépendance complexe de lois à partir de grands ensemble de données dans un cadre non-ou semi-supervisé apparaît aujourd'hui comme l'un des principaux défis de l'IA. Les modèles génératifs profonds ont de nombreuses applications passionnantes pour résoudre la pénurie de données en générant de " nouveaux " exemples, pour préserver la confidentialité en diffusant le modèle génératif à laplace des données mais aussi pour détecter les observations aberrantes.Dans cette présentation, je vais couvrir trois directions de recherche sur lesquelles je travaille actuellement.Une première approche est basée sur la minimisation de l'entropie croisée (divergence de Kullback-Leibler) entre la distribution des observations et un modèle paramétré soit par des réseaux de neurones profonds, soit par des fonctions d’energies plus adaptées, reliant les modèles génératifs et les « energy based models » quiont été introduits pour l’apprentissage non-supervisé (mais dans un cadre non-probabiliste). Cette approche est séduisante mais elle pose des problèmes de calcul difficiles, liés à la nécessité d'estimer la constante de normalisation et son gradient.Une deuxième approche repose sur les méthodes d'entropie maximale. Cette approche trouve son origine dans les quantités de physique statistique pour apprendre une distribution maximisant l'entropie sous contrainte de moment, qui sont construites à partir d'unereprésentation issue d’un réseau de neurones profondsUne troisième approche consiste à utiliser des auto-encodeurs variationnels (Variational Autoencoder, VAE), un cas particulier d'inférence variationnelle. Les VAE apprennent conjointement un algorithme pour générer des échantillons à partir de la distribution ainsi qu'un espace latent qui résume la distribution des observations.J’illustrerai ces approches par des exemples et je discuterai des challenges théoriques et numériques que ces approches posent. [Vidéo en ligne]