Etats fondamentaux et excitations de systèmes magnétiques frustrés, du classique au quantique

The first part of this thesis is devoted to classical magnetic systems. A method for an exhaustive search of states that do not break any spatial symmetry on a given lattice is presented. New Néel states on the kagome lattice are described. Their static structure factors give a way to analyze experimental results. Some non-coplanar spin orders are the only ground states of Heisenberg Hamiltonians. The chirality is a discrete order parameter and give rise to a finite temperature phase transition, studied on a toy model. We show that Z2 topological defects proliferate near chirality domain walls. The order of the transition (first order or Ising like) depends on the spin interactions. The Schwinger boson mean-field theory (SBMFT) allows us to link classical and quantum spin physics: long-range ordered and disordered phases as topological spin liquids can be described in this frame. Symmetry and the way to impose them are analyzed. Different phases are distinguished by their fluxes. These are gauge invariant quantities having a signification as well in a quantum system as in the classical limit. Visons are quantum excitations that change fluxes. Thus, the Z2 vorticies are their classical limit. By relaxing some symmetry constraints, chiral phases are obtained, whose classical limit sends back to the first chapter of this thesis, and whose disordered phase gives chiral spin liquids. The example of the Dzyaloshinskii-Moriya interaction on the kagome lattice is studied.La première partie de cette thèse est consacrée aux systèmes magnétiques classiques. Une méthode de recherche exhaustive des états ne brisant aucune symétrie spatiale de divers réseaux est présentée. De nouveaux ordres de Néel sur le réseau kagome sont décrits. Leurs facteurs de structure statiques fournissent une grille d'analyse pour les résultats expérimentaux. Certains ordres ayant des spins non coplanaires sont les uniques états fondamentaux de Hamiltoniens d'Heisenberg. La chiralité, paramètre d'ordre discret, donne lieu à une transition de phase à température finie, étudiée sur un modèle générique. Nous montrons que des défauts topologiques Z2 prolifèrent aux murs de domaines chiraux. L'ordre de la transition (premier ordre ou classe d'universalité d'Ising) dépend des interactions entre spins. La théorie des bosons de Schwinger en champ moyen (SBMFT) permet de faire le lien entre physique de spins classiques et quantiques : elle permet de décrire à la fois des phases ordonnées à longue portée et des phases désordonnées, parmi lesquelles les liquides de spins topologiques. Les symétries et les moyens de les imposer en SBMFT sont analysés. Différentes phases se distinguent grâce aux flux, quantités invariantes de jauge ayant une signification physique aussi bien dans un système quantique que dans la limite classique. Les visons, excitations quantiques modifiant les flux, ont ainsi leur limite classique avec les vortex Z2. En relâchant certaines contraintes de symétrie, on obtient des phases chirales, dont la limite classique renvoie au premier chapitre de cette thèse, et dont la phase désordonnée fournit des liquides de spin chiraux. L'exemple de l'interaction Dzyaloshinskii-Moriya sur le réseau kagome est étudié