Sécurité des noyaux de systèmes d'exploitation

This Ph.D thesis addresses the integrity preservation of current operating systems. The main goal is to counter current and future threats coming from malware that infects the kernel of these systems (as kernel rootkits) or at least that provoke a loss of their integrity (as hypervisor rootkits). The first part of this document focuses on such malware. First, logical attacks are presented globally. Then, a classification of malicious actions that lead to the loss of kernel integrity is proposed. Finally, the outcomes of a study on kernel rootkits are given and the creation of an original rootkit is explained. The second part deals with kernel protection. After describing the state of the art, an original approach is proposed, based on the concept of constraint preservation. First, the essential elements which a kernel rests on are identified and the required constraints on these elements for correct kernel operation are exhibited. A lightweight hypervisor (Hytux) has been elaborated to prevent any violation of these constraints by intercepting some actions of the kernel. Its implementation is described for a 64-bit Linux kernel on an x86 architecture that supports the Intel VT-x and VT-d technologies.Cette thèse traite de la préservation de l'intégrité des systèmes d'exploitation courants. L'objectif est de répondre aux menaces actuelles et futures que représentent les logiciels malveillants qui s'implantent dans le noyau de ces systèmes (comme les rootkits "noyau") ou du moins en altèrent l'intégrité (comme les rootkits "hyperviseur"). La première partie de ce document se focalise sur ces logiciels malveillants. Tout d'abord, les attaques logiques sur les systèmes informatiques sont présentées dans leur globalité. Ensuite est proposée une classification des actions malveillantes qui provoquent la perte de l'intégrité d'un noyau. Enfin, les résultats d'une étude sur les rootkits "noyau" sont donnés et la création d'un rootkit original est expliquée. La seconde partie s'intéresse à la protection des noyaux. Après une description de l'état de l'art, une approche originale est proposée, fondée sur le concept de préservation de contraintes. En premier lieu, les éléments essentiels sur lesquels reposent un noyau sont identifiés et les contraintes sur ces éléments, nécessaires à un fonctionnement correct du noyau, sont exposées. Un hyperviseur léger (Hytux) a été conçu pour empêcher la violation de ces contraintes en interceptant certaines des actions du noyau. Sa mise en oeuvre est décrite pour un noyau Linux 64 bits sur architecture x86 qui dispose des technologies Intel VT-x et VT-d