Méthodes Accélérées pour l'Optimisation Distribuée

In order to make meaningful predictions, modern machine learning models requirehuge amounts of data, and are generally trained in a distributed way, i.e., using manycomputing units. Indeed, the data is often too large or to sensitive to be gathered andstored at one place, and stacking computing units increases the computing power.Yet, machine learning models are usually trained using stochastic optimizationmethods, that perform a sequence of steps which are noisy but relatively easy tocompute. Besides, many algorithms reuse past information to speed up convergence,which requires a high level of synchrony between agents.This thesis presents a set of results that extend the recent advances fromstochastic and accelerated convex optimization to the decentralized setting, in whichthere is no central coordination but only pairwise communications.Les modèles d'apprentissage modernes ont généralement besoin de volumes dedonnées conséquents afin de réaliser de bonnes prédictions, et sont donc généralemententraînés de manière distribuée, c'est-à-dire en utilisant de nombreuses unités decalculs. Cette architecture distribuée peut venir de la taille des données, leur sensibilité,ou simplement pour entraîner les modèles plus rapidement.Cependant, les modèles d'apprentissage sont souvent entraînés en utilisant desméthodes d'optimisation stochastiques intrinsèquement séquentielles, qui utilisent denombreux gradients bruités mais faciles à calculer. De plus, de nombreux algorithmesréutilisent de l'information passée afin d'accélérer la convergence, ce qui nécessite unhaut niveau de synchronie et de partage d'information.Cette thèse présente un ensemble de résultats permettant d'étendre les avancéesrécentes en optimisation stochastique et accélérée dans le cadre décentralisé, c'est àdire sans coordination centrale mais via un ensemble de communications pair à pair