Contributions à l'analyse théorique de méthodes d'apprentissage statistique et de quantification de l'incertitude

Modern data analysis provides scientists with statistical and machine learning algorithmswith impressive performance. In front of their extensive use to tackle problems of constantlygrowing complexity, there is a real need to understand the conditions under which algorithmsare successful or bound to fail. An additional objective is to gain insights into the design ofnew algorithmic methods able to tackle more innovative and challenging tasks. A naturalframework for developing a mathematical theory of these methods is nonparametric inference.This area of Statistics is concerned with inferences of unknown quantities of interest underminimal assumptions, involving an infinite-dimensional statistical modeling of a parameteron the data-generating mechanism. In this thesis, we consider both problems of functionestimation and uncertainty quantification.The first class of algorithms we deal with are Bayesian tree-based methods. They are based ona ‘divide-and-conquer’ principle, partitioning a sample space to estimate the parameter locally.In regression, these methods include BCART and the renowned BART, the later being anensemble of trees or a forest. In density estimation, the famous Pólya Tree prior exemplifiesthese methods and is the building block of a myriad of related constructions. We proposea new extension, DPA, that is a ‘forest of PTs’ and is shown to attain minimax contractionrates adaptively in Hellinger distance for arbitrary Hölder regularities. Adaptive rates in thestronger supremum norm are also obtained for the flexible Optional Pólya Tree (OPT) prior, aBCART-type prior, for regularities smaller than one.Gaussian processes are another popular class of priors studied in Bayesian nonparametrics andMachine Learning. Motivated by the ever-growing size of datasets, we propose a new horseshoeGaussian process with the aim to adapt to leverage a data structure of smaller dimension.First, we derive minimax optimal contraction rates for its tempered posterior. Secondly, deepGaussian processes are Bayesian counterparts to the famous deep neural networks. We provethat, as a building block in such a deep framework, it also gives optimal adaptive rates undercompositional structure assumptions on the parameter.As for uncertainty quantification (UQ), Bayesian methods are often praised for the principledsolution they offer with the definition of credible sets. We prove that OPT credible setsare confidence sets with good coverage and size (in supremum norm) under qualitativeself-similarity conditions. Moreover, we conduct a theoretical study of UQ in Wassersteindistances Wp, uncovering a new phenomenon. In dimensions smaller than 4, it is possible toconstruct confidence sets whose Wp-radii, p<=2, adapt to any regularities (with no qualitativeassumptions). This starkly contrasts the usual Lp theory, where concessions always have to bemade.L'analyse moderne des données fournit aux scientifiques des algorithmes statistiques et d'apprentissage automatique aux performances impressionnantes. Face à leur utilisation intensive pour traiter des problèmes dont la complexité ne cesse de croître, il existe un réel besoin de comprendre les conditions dans lesquelles ceux-ci fonctionnent ou sont voués à l'échec. Ainsi, un cadre naturel pour développer une théorie mathématique de ces méthodes est celui de l'inférence non-paramétrique. Ce domaine de la statistique s'intéresse à l'inférence de quantités inconnues sous des hypothèses minimales avec la modélisation statistique en dimension infinie d'une quantité paramétrant la loi des données. Dans cette thèse, nous étudions les problèmes d'estimation de fonctions et de quantification de l'incertitude.La première classe d'algorithmes que nous considérons est celle des méthodes bayésiennes basée sur des structures d'arbres. Elles reposent sur le principe de 'diviser pour mieux régner', en partitionnant l'espace des données pour estimer le paramètre localement. En régression, ces méthodes incluent BCART et BART, cette dernière étant un ensemble d'arbres ou “forêt". En estimation de densité, les arbres de Pólya sont un exemple de telles lois a priori et constituent la base d'une myriade de constructions connexes. Nous proposons une nouvelle extension, DPA, qui est une "forêt de Pólya" et permet d'atteindre des vitesses de contraction minimax, de manière adaptative, en distance de Hellinger pour des régularités de Hölder arbitraires. Des vitesses adaptatives dans la norme infinie sont également obtenues pour la loi a priori des arbres de Pólya optionnel (OPT), similaire à BCART en régression, pour des fonctions de régularité Lipschitz.Les processus gaussiens (GP) sont une autre classe populaire de lois étudiées en statistique bayésienne nonparamétrique et en apprentissage automatique. Motivés par la taille toujours croissante des bases de données, nous proposons un nouveau processus gaussien 'horseshoe' avec une couche de sélection de variables 'soft' pour pouvoir tirer parti d'une dimension des données plus petite que celle de l'espace ambiant. Nous dérivons des vitesses de contraction optimales pour les loi a posteriori tempérées. Les processus gaussiens profonds sont les homologues bayésiens des célèbres réseaux neuronaux profonds. Nous prouvons que, en tant qu'élément de base dans une telle construction, les GP ‘horseshoe' donnent également des vitesses adaptatives sous des hypothèses de structure de composition du paramètre.En ce qui concerne la quantification de l'incertitude (UQ), les méthodes bayésiennes sont souvent louées pour la solution qu'elles fournissent avec la définition des ensembles de crédibilité. Nous prouvons que ces ensembles construits sous OPT sont des ensembles de confiance avec un niveau de confiance exact et une taille optimale (ou quasi-optimale) en norme infinie sous des conditions qualitatives d'auto-similarité. De plus, nous menons une étude théorique de l'UQ pour les distances de Wasserstein Wp et mettons en lumière un nouveau phénomène. En dimensions inférieures à 4, il est toujours possible de construire des ensembles de confiance dont les rayons en distance Wp, p<=2, s'adaptent à n'importe quelles régularités (sans hypothèses qualitatives). Cela contraste fortement avec la théorie habituelle en norme Lp, où des concessions doivent toujours être faites