Modélisation d'interdépendances et principe de la moyenne Bayésienne des modèles dans le cadre supervisé et non supervisé

Cette thèse porte sur la théorie de l apprentissage statistique et plus particulièrement sur le moyennage Bayésien de modèles. L apprentissage par moyennage Bayésien de modèles (ou BMA pour Bayesian Model Averaging) vise à construire automatiquement des modèles ayant de bonnes performances en généralisation par intégration sur une famille de modèles. L utilisation du principe BMA permet dans certaines conditions un apprentissage optimal, sans sur-apprentissage ni sous-apprentissage. Une seconde problématique a orienté certains de mes travaux et concerne l utilisation du maximum possible de dépendances entre attributs constituant les formes traitées. Naturellement ces deux problématiques sont liées parce qu en cherchant à exploiter plus de dépendances dans les données on attaque le problème de l apprentissage de modèles plus complexes et donc sujets à sur-apprentissage. Durant ma thèse j ai exploré ces deux problématiques en m attaquant à différentes tâches de l apprentissage automatique et pour différents types de données. J ai abordé l utilisation de dépendances entre composantes pour des données en dimension fixe et pour des données séquentielles. En dimension fixe l idée est de prendre en compte les dépendances entre toutes les composantes à travers les dépendances entre tous les k-uplets de composantes pour des valeurs de k limitées. Pour des données séquentielles, j ai proposé des modèles permettant de prendre en compte les dépendances entre toutes les paires d observations. Dans l un et l autre cas les modèles que j ai proposés peuvent être vus comme des extensions de modèles classiques, classifieurs Logistiques pour les données en dimension fixe ou modèles Markoviens pour les séquences. Au-delà de l exploitation massive de dépendances, je me suis intéressé à identifier des situations et des problèmes particuliers pour lesquels l approche BMA est d une part utilisable en pratique, et d autre part pertinente du point de vue du gain obtenu. Cela m a conduit à travailler à tout d abord sur des aspects fondamentaux pour caractériser l approche BMA dans les cadres supervisé et non supervisé. Également j ai développé des algorithmes pour le calcul exact de solutions de type BMA dans des cas particuliers, l apprentissage de classifieurs complexes comme combinaison de classifieurs simples, et l apprentissage d une loi de probabilité a posteriori par intégration sur la famille des modèles de type histogrammes.PARIS-BIUSJ-Physique recherche (751052113) / SudocSudocFranceF