Méthodes d'optimisation basées sur le gradient naturel pour les réseaux de neurones profonds

The stochastic gradient method is currently the prevailing technology for training neural networks. Compared to the classical gradient descent method, the calculation of the true gradient as an average over the data is replaced by a random element of the sum. When dealing with massive data, this bold approximation enables one to decrease the number of elementary gradient evaluations and to alleviate the cost of each iteration. The price to be paid is the appearance of oscillations and the slowness of convergence, which is often excessive in terms of number of iterations. The aim of this thesis is to design an approach that is both: (i) more robust, using the fundamental methods that have been successfully proven in classical optimization, i.e., outside the machine learning framework; and (ii) faster in terms of convergence speed. We are especially interested in second-order methods, known for their stability and speed of convergence. To circumvent the bottleneck of these methods, which lies in the prohibitive cost of an iteration involving a linear system with a full matrix, we attempt to improve an approximation recently introduced as Kronecker-Factorized Approximation of Curvature (KFAC) for the Fisher matrix, which replaces the Hessian matrix in this context. More specifically, our work focuses on: (i) building new Kronecker factorizations based on a more rigorous mathematical justification than in KFAC; (ii) taking into account the information from the off-diagonal blocks of the Fisher matrix, which represent the interaction between the different layers; (iii) generalizing KFAC to a network architecture other than those for which it had been initially developed.La méthode du gradient stochastique est la technologie actuellement prédominante pour effectuer la phase d'entraînement des réseaux de neurones. Par rapport à une descente classique, le calcul du vrai gradient comme une moyenne sur les données est remplacé par un élément aléatoire de la somme. En présence de données massives, cette approximation audacieuse permet de diminuer le nombre d'évaluations de gradients élémentaires et d’alléger le coût de chaque itération. Le prix à payer est l’apparition d’oscillations et la lenteur de convergence souvent excessive en nombre d’itérations. L'objectif de cette thèse est de concevoir une approche à la fois : (i) plus robuste, en faisant appel aux méthodes fondamentales qui ont fait leur preuve en optimisation classique, i.e., en dehors du cadre de l'apprentissage ; et (ii) plus rapide en termes de vitesse de convergenceNous nous intéressons en particulier aux méthodes de second ordre, connues pour leur stabilité et leur rapidité de convergence. Pour éviter le goulot d'étranglement de ces méthodes, qui est le coût exorbitant d'une itération où intervient un système linéaire à matrice pleine, nous tentons d’améliorer une approximation récemment introduite sous le nom de Kronecker-Factorized Approximation of Curvature (KFAC) pour la matrice de Fisher, laquelle remplace la matrice hessienne dans ce contexte. Plus précisément, nos axes de travail sont : (i) construire de nouvelles factorisations de Kronecker fondées sur une justification mathématique plus rigoureuse que KFAC ; (ii) prendre en compte l’information issue des blocs hors diagonaux de la matrice de Fisher, qui représentent l’interaction entre les différentes couches ; (iii) généraliser KFAC à une architecture de réseau autre que celles pour lesquelles elle a été initialement développée