auto-tuning of computer systems using black-box optimization : an application to the case of i/o accelerators

La plupart des composants des systèmes à Haute Performance, qu'ils soient matériels ou logiciels, sont hautement configurable, et leurs paramètres ont un impact fort sur la performance du système. Pour maximiser la performance, il faut donc trouver les paramètres les plus appropriés pour chacune des applications exécutées sur le système de calcul, mais trouver cette paramétrisation est une tâche compliquée, de par la complexité des interactions entre les éléments du système et la variété des applications que celui-ci exécute.Dans cette thèse, nous suggérons d'utiliser des méthodes d'auto-optimisation dîtes de boîte noire, plutôt que de régler le système manuellement ou à l'aide de modèles théoriques. Nous réalisons ainsi la comparaison de trois heuristiques d'optimisation (recuit simulé, algorithmes génétiques, et optimisation bayésienne) pour auto-paramétriser deux accélérateurs d'Entrées/Sorties (E/S) pour plusieurs applications. Pour améliorer la résilience de ces algorithmes aux interférences mesurées, nous proposons un nouvel algorithme de ré-échantillonage pour l'optimisation stochastique et permettant d'obtenir une amélioration significative par rapport à l'état de l'art. Les différentes méthodes proposées sont intégrées dans un logiciel mis à disposition de la communauté dénommé SHAMan, entièrement développé durant la thèse. Aditionnellement, nous proposons un mécanisme permettant la paramétrisation automatique des applications entrantes à l'aide d'un moteur de reconnaissance de métadonnées utilisant des méthodes de dédoublonnage. Enfin, nous élargissons notre travail à d'autres composants que les accélérateurs E/S en optimisant les opérations collectives du Message Passing Interface (MPI).Most components of High Performance Computing systems, either hardware or software, come with many tunable parameters and their parametrization can have a significant impact on their performance. For optimal performance, the most adapted parametrization for each application running on the cluster must be determined and used. However, this parametrization is difficult to find because of the complexity of the relationship between each component and the lack of insight on the system’s behavior.In this thesis, we remove the complex task of tuning the system manually or through theoretical models, by exploring auto-tuning methods relying on black-box optimization to find the system’s optimal parameters. We provide a comprehensive comparison of three different black-box optimization heuristics (simulated annealing, genetic algorithms and bayesian optimization) to tune two very different I/O accelerators over several benchmarks.To improve the resilience of these heuristics to the noise caused by the shared nature of HPC systems, we suggest a new algorithm based on resampling methods for stochastic optimization, and show a significative improvement compared to the state-of-the-art. The different described methods are made available in a generic open-source software called SHAMan, entirely developed during this thesis. Additionally, we suggest a possible integration of our work for automatic parametrization of incoming applications, by using a matching pipeline on users’ submission and automatically parametrizing the system's at each new application's submission. Finally, we prove the relevance of black-box optimization to test yet another class of tunable component: the collective operations of Message Passing Interface (MPI)