Sur les propriétés extrémales de polytopes de Coxeter hyperboliques et de leurs groupes de réflexion

This thesis concerns hyperbolic Coxeter polytopes, their reflection groups and associated combinatorial and geometric invariants. Given a Coxeter group $G$ realisable as a discrete subgroup of $\mathrm{Isom}\,\mathbb{H}^n$, there is a fundamental domain $\mathscr{P} \subset \mathbb{H}^n$ naturally associated to it. The domain $\mathscr{P}$ is a Coxeter polytope. Vice versa, given a Coxeter polytope $\mathscr{P}$, the set of reflections in its facets generates a Coxeter group acting on $\mathbb{H}^n$. The reflections give a natural set $S$ of generators for the group $G$. Then we can express the growth series $f_{(G,S)}(t)$ of the group $G$ with respect to the generating set $S$. By a result of R.~Steinberg, the corresponding growth series is the power series of a rational function. The growth rate $\tau$ of $G$ is the reciprocal to the radius of convergence of such a series. The growth rate is an algebraic integer and, by a result of J.~Milnor, $\tau > 1$. By a result of W.~Parry, if $G$ acts on $\mathbb{H}^n$, $n=2,3$, cocompactly, then its growth rate is a Salem number. By a result of W.~Floyd, there is a geometric correspondence between the growth rates of cocompact and finite co-volume Coxeter groups acting on $\mathbb{H}^2$. This correspondence gives a geometric picture for the convergence of Salem numbers to Pisot numbers. There, Pisot numbers correspond to the growth rates of finite-volume polygons with ideal vertices. We reveal an analogous phenomenon in dimension $3$ by considering degenerations of compact Coxeter polytopes to finite-volume Coxeter polytopes with four-valent ideal vertices. In dimension $n\geq 4$, the growth rate of a Coxeter group $G$ acting cocompactly on $\mathbb{H}^n$ is known to be neither a Salem, nor a Pisot number. A particularly interesting class of Coxeter groups are right-angled Coxeter groups. In the case of a right-angled Coxeter group acting on $\mathbb{H}^n$, its fundamental domain $\mathscr{P} \subset \mathbb{H}^n$ is a right-angled polytope. Concerning the class of right-angled polytopes in $\mathbb{H}^4$ (compact, finite volume or ideal, as subclasses), the following questions emerge: \begin{enumerate} \item[-] what are minimal volume polytopes in these families? \item[-] what are polytopes with minimal number of combinatorial compounds (facets, faces, edges, vertices) in these families? \end{enumerate} Various results concerning the above questions in the case of finite-volume right-angled polytopes were obtained by \'{E}.~Vinberg, L.~Potyaga\u{\i}lo and recently by B.~Everitt, J.~Ratcliffe, S.~Tschantz. In the case of compact right-angled polytopes the answer is conjectured by \'{E}.~Vinberg and L.~Potyaga\u{\i}lo. In this thesis, the above questions in the case of ideal right-angled polytopes are considered and completely answered. We conclude with some partial results concerning the case of compact right-angled polytopes.Cette thèse est centrée sur l'étude des polytopes hyperboliques, des groupes de réflexions et invariants associes. Soit G un groupe de Coxeter, sous-groupe de Isom Hn. Alors, il existe un domaine fondamental P ⊂ Hn qui est naturellement associe 'a ce groupe G. Le domaine P est un polytope de Coxeter. Réciproquement, chaque polytope de Coxeter P engendre un groupe de Coxeter agissant sur Hn: le groupe engendre par les réflexions par rapport a ses facettes. Ces réflexions forment un ensemble naturel de générateurs pour le groupe G. On peut donc exprimer la série de d'accroissement fS (t) du groupe G par rapport a l'ensemble S. Par un resultat de R. Steinberg, la série d'accroissement associée correspond a la série de Taylor d'une fonction rationnelle. Le taux d'accroissement τ de G est l'inverse du rayon de convergence de cette dernière. Le taux de convergence est un entier algébrique et, par un resultat de J. Milnor, τ > 1. Par un résultat de W. Parry, si G agit sur H2 de fa¸con co-compacte, son taux d'accroissement est un nombre de Salem. Par un résultat de W. Floyd, il existe un lien géométrique entre les taux d'accroissement des groupes de Coxeter cocompacts et ceux des groupes a co-volume fini agissant sur H2. Ce lien correspond a une image géométrique de la convergence d'une suite de nombres de Salem vers un nombre de Pisot. Dans cette thèse, on verra un phénomène analogue en dimension 3. En dimension n ≥ 4, le taux d'accroissement d'un groupe de Coxeter agissant de fa¸con cocompacte sur Hn n'est plus un nombre de Salem, ni un nombre de Pisot. Nous nous intéressons a une classe particulière de groupes de Coxeter est celle des groupes de Coxeter rectangulaires. Dans ce cas, les domaines fondamentaux sont des poly- topes aux angles diedres droits. Concernant la classe de polytopes rectangulaires compacts (respectivement, 'a volume fini, id'eaux) dans H4, on pose les problèmes suivants: - déterminer le volume minimal dans ces familles, - déterminer le nombre minimal de composante combinatoire (facettes, faces, arêtes, sommets) dans ces familles. Dans le cas des polytopes rectangulaires a volume fini, la solution a été donnée par E. Vinberg, L. Potyagailo et par B. Everitt, J. Ratcliffe, S. Tschantz. Pour les polytopes rectangulaires compacts, il existe seulement une conjecture. Dans cette these, nous repondons a ces questions dans le cas des polytopes rectangulaires id'eaux