Integrity of neural networks : defending against adversarial examples and their transferability

Au vu du succès du deep learning dans de nombreuses tâches, de la classification d'images à la reconnaissance de la voix, il y a une volonté croissante de déployer des modèles de réseaux de neurones. Cependant, il a été montré que ces modèles sont vulnérables à de nombreux types d’attaques. Parmi celles-ci, les exemples adverses constituent une menace grandissante pour l’intégrité d’un système de machine learning. Les exemples adverses sont un type d'attaque où un adversaire va modifier de manière malicieuse une entrée pour tromper un modèle à lors de l'inférence.Que ces modèles soient utilisés via des APIs distantes ou embarqués sur divers appareils, les exemples adverses constituent donc une menace à leur déploiement, et plus généralement à l'intégrité des modèles de machine learning. Plus particulièrement, dans certains cas comme les voitures autonomes, ils constituent une menace sérieuse à la sécurité civile.Parmi les différents aspects des attaques adverses, la transférabilité des perturbations adverses est particulièrement préoccupante, car elle représente un outil puissant pour un adversaire sans accès direct au modèle cible (scénario boîte noire). En effet, un exemple adverse élaboré sur un modèle substitut peut arriver à tromper un autre modèle. Le scénario boîte noire étant le plus commun, étudier la transférabilité est une considération de premier plan.Le but de cette thèse est de mieux comprendre la vulnérabilité des réseaux de neurones aux exemples adverses, et de développer des schémas de défense efficaces pour contrer leur transférabilité.Regarding the success of deep learning in various tasks, ranging from image classification to speech recognition, there is a growing will to deploy neural networks models in the everyday life. However, these models have been shown to be vulnerable to multiple threats. Among them, the phenomenon of adversarial examples is of primary interest as a menace to the integrity of a machine learning model. Adversarial examples refer to a type of attack where an adversary maliciously modifies some input, in order to fool a model at inference time.Whether neural network models are used in distant APIs or embedded on devices, adversarial examples therefore constitute a threat to this deployment, and more generally to the integrity of machine learning models. More particularly, in some use-cases such as autonomous driving, adversarial examples constitute a major threat to the public safety.Among the different aspects of adversarial attacks, the phenomenon of the transferability of adversarial perturbations is particularly concerning, as it is a powerful tool for an adversary who does not have a direct access to the target model (black-box setting). Indeed, an adversarial example crafted on a substitute model can also fool another model. As the blackboxsetting is the most common scenario for a threat model, studying and hindering transferability would therefore allow to greatly enhance the security of machine learning models.In this thesis, we aim at better understanding the vulnerability of neural networks to adversarial examples, and at developing efficient schemes to thwart their transferability