Varieties of representations of quivers with loops

Cette thèse s’articule autour des espaces de modules de représentations de carquois arbitraires, c’est-à-dire possédant d’éventuelles boucles. Nous obtenons trois types de résultats. Le premier concerne la base canonique de Lusztig, dont la définition est étendue à notre cadre, notamment en introduisant une algèbre de Hopf généralisant les groupes quantiques usuels (i.e. associés aux algèbres de Kac-Moody symétriques). On démontre au passage une conjecture faite par Lusztig en 1993, portant sur la catégorie de faisceaux pervers qu’il définit sur les variétés de représentations de carquois.Le second type de résultats, également inspiré par le travail de Lusztig, concerne la base semi- canonique et la variété Lagrangienne nilpotent de Lusztig. Pour un carquois arbitraire, on définit des sous-variétés de représentations semi-nilpotentes Λ(α), et nous montrons qu’elles sont Lagrangiennes. La démonstration repose sur l’existence de fibrations affines partielles entre diverses composantes de Λ(α), contrôlées par une combinatoire précise. Nous définissons une algèbre de convolution de fonctions constructibles sur ⊔Λ(α), et montrons qu’elle possède une base formée de fonctions quasi- caractéristiques des composantes irréductibles des Λ(α). La structure combinatoire qui se dégage ici est analogue à celle obtenue sur les faisceaux pervers de Lusztig, et fait apparaître des opérateurs plus généraux que ceux décrits par les cristaux de Kashiwara.Le troisième thème considéré est celui des variétés carquois de Nakajima, dont l’étude géomé- trique menée ici permet, conjointement avec ce qui est fait précédemment, de donner une définition de cristaux de Kashiwara généralisés. On définit à nouveau des sous-variétés Lagrangiennes, ainsi qu’un produit tensoriel sur leurs composantes irréductibles, comme fait dans le cas classique par Nakajima.This thesis is about the moduli spaces of representations of arbitrary quivers, i.e. possibly carrying loops. We obtain three types of results. The first one deals with the Lusztig canonical basis, whose definition is here extended to our framework, thanks in particular to the definition of a Hopf algebra generalizing the usual quantum groups (i.e. associated to symmetric Kac-Moody algebras). We also prove a conjecture raised by Lusztig in 1993, which concerns the category of perverse sheaves he defines on varieties of representations of quivers.The second type of results, also inspired by the work of Lusztig, concerns the semicanonical basis. For an arbitrary quiver, we define subvarieties of seminilpotent representations Λ(α), and we show that they are Lagrangian. The proof relies on the existence of partial affine fibrations between some irreducible components of Λ(α), controled by a precise combinatorial structure. We define a convolution algebra of constructible functions on ⊔Λ(α), and show it is equipped with a basis of quasi-characteristic functions of the irreducible components of the Λ(α). The combinatorial structure arising from this construction is analogous to the one obtained on Lusztig perverse sheaves, and yields operators more general than the ones described by Kashiwara crystals.The third considered topic is the one of Nakajima quiver varieties, whose geometric study in this thesis allows, along with the previous (also geometric) work, to define generalized Kashiwara crystals. We define, again, Lagrangian subvarieties, and a tensor product of their irreducible components, as done by Nakajima on the classical case