Contributions to Decentralized and Privacy-Preserving Machine Learning

This manuscript presents, in a unified way, some of my contributions to the topic of decentralized and privacy-preserving machine learning. Decentralized learning, also known as federated learning, aims to allow a set of participants with local datasets to collaboratively train machine learning models while keeping their data decentralized. A key challenge in this context is to design decentralized algorithms that (i) can efficiently solve a variety of learning tasks on highly heterogeneous local datasets, and (ii) provide rigorous privacy guarantees while minimizing the impact on the utility of the learned models. To tackle these challenges, I describe three sets of contributions. First, I present a decentralized approach to collaboratively learn a personalized model for each user. Second, I address the problem of decentralized estimation and learning with pairwise loss functions. In both cases, privacy-preserving versions of these algorithms are introduced under the strong model of local differential privacy. Finally, to reduce the cost in utility induced by local differential privacy, I propose two approaches to improve the privacy-utility trade-offs of decentralized learning through appropriate relaxations of the local model.Ce manuscrit présente, de manière unifiée, certaines de mes contributions sur le thème de l'apprentissage automatique décentralisé et respectueux de la vie privée. L'apprentissage décentralisé, également appelé apprentissage fédéré, permet à un ensemble de participants avec des données locales d'entraîner des modèles d'apprentissage de manière collaborative tout en gardant leurs données décentralisées. Un défi important dans ce contexte est de concevoir des algorithmes décentralisés qui (i) peuvent résoudre efficacement une variété de tâches d'apprentissage sur des données locales hétérogènes, et (ii) donnent des garanties de confidentialité rigoureuses tout en minimisant l'impact sur l'utilité du modèle appris. Pour relever ces défis, je décris trois ensembles de contributions. Premièrement, je présente une approche décentralisée pour apprendre, de manière collaborative, un modèle personnalisé pour chaque utilisateur. Deuxièmement, j'aborde le problème de l'estimation et de l'apprentissage décentralisés avec des fonctions de perte sur des paires. Dans les deux cas, des versions de ces algorithmes respectueuses de la vie privée sont introduites, en considérant le modèle local de la confidentialité différentielle. Enfin, pour réduire le coût en utilité induit par la confidentialité différentielle locale, je propose deux approches pour améliorer les compromis vie privée-utilité de l'apprentissage décentralisé via des relaxations appropriées du modèle local