PERFORMANCES STATISTIQUES D'ALGORITHMES D'APPRENTISSAGE : ``KERNEL PROJECTION<br /> MACHINE'' ET ANALYSE EN COMPOSANTES PRINCIPALES A NOYAU.

This thesis takes place within the framework of statisticallearning. It brings contributions to the machine learning community usingmodern statistical techniques based on progress in the study of empiricalprocesses. The first part investigates the statistical properties of KernelPrincipal Component Analysis (KPCA). The behavior of the reconstruction error isstudied with a non-asymptotic point of view and concentration inequalities ofthe eigenvalues of the kernel matrix are provided. All these results correspond to fast convergence rates. Non-asymptotic results concerning theeigenspaces of KPCA themselves are also provided. A new algorithm ofclassification has been designed in the second part: the Kernel ProjectionMachine (KPM). It is inspired by the Support Vector Machines (SVM). Besides, it highlights that the selection of a vector space by a dimensionalityreduction method such as KPCA regularizes suitably. The choice of the vectorspace involved in the KPM is guided by statistical studies of model selectionusing the penalized minimization of the empirical loss. This regularization procedure is intimately connected with the finitedimensional projections studied in the statistical work of Birgé andMassart. The performances of KPM and SVM are then compared on some datasets. Each topic tackled in this thesis raises new questions.La thèse se place dans le cadre de l'apprentissage statistique. Elle apportedes contributions à la communauté du machine learning en utilisant destechniques de statistiques modernes basées sur des avancées dans l'étudedes processus empiriques. Dans une première partie, les propriétés statistiques del'analyse en composantes principales à noyau (KPCA) sont explorées. Lecomportement de l'erreur de reconstruction est étudié avec un point de vuenon-asymptotique et des inégalités de concentration des valeurs propres de la matrice deGram sont données. Tous ces résultats impliquent des vitesses deconvergence rapides. Des propriétés non-asymptotiques concernant les espaces propres de la KPCA eux-mêmes sont égalementproposées. Dans une deuxième partie, un nouvel algorithme de classification a étéconçu : la Kernel Projection Machine (KPM). Tout en s'inspirant des Support Vector Machines (SVM), il met en lumière que la sélection d'un espace vectoriel par une méthode deréduction de la dimension telle que la KPCA régularise convenablement. Le choix de l'espace vectoriel utilisé par la KPM est guidé par des études statistiques de sélection de modéle par minimisation pénalisée de la perte empirique. Ceprincipe de régularisation est étroitement relié à la projection fini-dimensionnelle étudiée dans les travaux statistiques de Birgé et Massart. Les performances de la KPM et de la SVM sont ensuite comparées sur différents jeux de données. Chaque thème abordé dans cette thèse soulève de nouvelles questions d'ordre théorique et pratique