De la forme des généalogies en phylogénie et en génétique des populations

The main part of this manuscript focuses on tree balance in phylogeny and population genetics. The binary tree structure is central in these fields. In phylogeny, trees represent the genealogies of species. In population genetics, trees represent the genealogies of genes and it is called the coalescent. A genealogy is said to be unbalanced when most of the internal nodes split the genealogy in two subtrees of different sizes. The most classical models of random phylogenies are the Yule model, which assumes that all species are equally likely to speciate, and the uniform model, which assumes that all phylogenies are equally likely. In both models we find the means and the variances, as well as the limiting distributions of tree balance measures widely used by biologists. In population genetics, the balance of coalescent trees reveals powerful at detecting a specific departure from the neutral rm model: fertility inheritance. When fertility is inherited, individuals whose parents had many children are more likely to have numerous offspring. We reconstruct the genealogies of human populations from samples of mitochondrial DNA. Genealogies from hunter-gatherer populations are the most unbalanced, suggesting a high fertility inheritance in these populations. In a last part, we apply coalescence theory to spatial genetics. We propose three methods to estimate a parameter of spatial dispersion. These methods are applied to estimate the rate of spatial dispersion of Scandinavian brown bears.Dans la majeure partie de cette thèse, nous nous sommes consacrés à l'étude de la forme des arbres phylogénétiques et plus particulièrement à leur déséquilibre. Une phylogénie est dite déséquilibrée, si la plupart des noeuds internes (les ancêtres communs) séparent l'arbre en deux sous-arbres de tailles sensiblement différentes. Les deux modèles de phylogénies aléatoires les plus classiques sont le modèle de Yule qui suppose que toutes les espèces ont la même probabilité de spéciation, et le modèle uniforme qui suppose que toutes les phylogénies de même taille sont équiprobables. Dans ces deux modèles, nous avons pu identifier les distributions limites des mesures de déséquilibre les plus utilisées par les biologistes. Les démonstrations sont inspirées de méthodes apparues récemment dans l'analyse des algorithmes. En génétique des populations, nous avons montré que le déséquilibre des généalogies de gènes est le signal d'un phénomène culturel : l'héritage de la fertilité. Nous avons mis en évidence la présence de ce trait culturel dans les populations de chasseurs-cueilleurs en utilisant le déséquilibre de généalogies reconstruites à partir d'ADN mitochondrial. Dans une dernière partie, la théorie de la coalescence a été appliquée à la génétique spatiale. Trois méthodes d'inférence d'un paramètre de dispersion spatiale ont été proposées. La vitesse de dispersion des ours bruns de Scandinavie a été estimée par une de ces trois méthodes