Le rôle de l'architecture, des données et de l'algorithme en Machine Learning : une approche de physique statistique

Over the last decades, machine learning revolutionised our daily lives from recommendation systems to image recognition, medical data analysis, text completion and translation, self driving cars and algorithmic trading. Its groundbreaking successes defy classical statistics and the underlying mechanisms driving them remain, for the most part, obscure. To bridge the gap between theory and practice, a community of mathematicians, physicists and computer scientists joined forces to develop an understanding of the three key components in deep learning: the architecture, the data and the algorithm. My thesis falls within this vast research program with results providing insights into each one of these aspects and their interplay. The tools are those of statistical physics, developed to study systems with many degrees of freedom. We first provide an introduction to some existing theory of artificial neural networks. Then, starting with the architecture, we present a study of overparametrisation in modern deep learning. Next we analyse the role of data structure in training different networks architecture and find that feature learning is crucial to good performance. To go a step further, we provide a dynamical analysis of a simple architecture of unsupervised learning, where extracting good features from the data is crucial. Regarding the algorithm, we first provide a theoretical analysis of learning rate schedules in some non-convex problems. Second, we analyse the learning dynamics of alternative training algorithm and uncover some factors explaining their success. We conclude with a summary of results and reflect on future directions of study.L'apprentissage machine est désormais utilisé dans tous les domaines du quotidien, de la traduction aux voitures autonomes, de la médecine aux sondes spatiales. Ces développements fulgurants se font le plus souvent sans une vraie description théorique des réseaux de neurones qui est nécessaire pour le développement de technologies plus efficaces, précises et avancées. Dans le déploiement de voitures autonomes, par exemple, les réseaux de neurones s’adaptent mal à un changement d’environnement ou à des événements imprévus; ce qui peut avoir des conséquences néfastes. Une meilleure compréhension de l'apprentissage machine permettrait de rendre la conduite plus sûre. L’objectif des réseaux de neurones est de faire des prédictions fiables sur une grandeur cible comme la présence d’un piéton dans une image, étant donné une entrée, l’image en question. Ceci est obtenu en ajustant le grand nombre de paramètres inhérents aux réseaux. Une description quantitative des réseaux de neurones artificiels nécessite la compréhension des trois clefs de voûte du machine learning: les données, l’architecture et l’algorithme. Des outils de physique statistique, développés pour l’étude de systèmes à grand nombre de variables, permettent d’étudier différentes facettes de ces trois aspects. Ce mémoire donne d’abord une introduction à la théorie des réseaux de neurones. Ensuite, il illustre, à travers plusieurs résultats obtenus au cours de ma thèse, comment la physique peut être utilisée pour réconcilier la statistique classique avec l’apprentissage automatique moderne, le rôle de certaines caractéristiques des données et comparer la dynamique de différents algorithmes d’entraînement