Automatic Generation of Bulk-Synchronous Parallel code

Depuis la stagnation de la fréquence d’horloge des processeurs, l’accroissement de la puissance de calcul a dépendu entièrement de l’accroissement du nombre d’unités de calcul. Plus que la difficulté algorithmique impliquée par l’écriture de tout programme séquentiel, la programmation parallèle demande au programmeur de gérer de nombreuses unités de calcul, incluant leurs tâches et leurs interactions. Pour alléger le fardeau du programmeur, cette thèse propose deux approches différentes de génération automatique de code parallèle. Le modèle parallèle isochrone BSP possède des propriétés intéressantes telles que son modèle de coût qui en font la cible de notre génération de code parallèle. Les automates et expressions régulières sont souvent choisis pour modéliser les calculs séquentiels et leurs parallélisation devrait, à long terme, aboutir à de solides fondations pour la génération de code parallèle. Pour notre approche principale, nous développons la théorie des automates BSP avec leur génération et détermination. Cette théorie est utilisée dans une nouvelle méthode pour la recherche de motif à l’aide d’expressions régulières. Notre autre approche propose un langage spécifique au domaine des réseaux de neurones où la composition fonctionnelle d’un petit nombre de primitives facilite le développement, la maintenance et la définition formelle du langage par rapport aux approches existantes.Since we are in an era of processor clock stagnation, computing power growth has been relying on parallel computing. More than the algorithmic difficulty involved in any program writing, parallel computing additionally requires the programmer to manage numerous processing units including their tasks and interactions. In order to alleviate the parallel programmer’s burden, this thesis proposes two different approaches for automatic parallel code generation. The bulk-synchronous parallel (BSP) model provides good properties such as its cost model and is therefore chosen as the target of our parallel code generation.Automata and regular expressions are often chosen to model sequential computation and their parallelization will lead to a strong foundation for general parallel code generation. For our main approach, we develop the theory of BSP automata with their generation and determinization. This theory is used in a novel method for parallel regular expression matching.As another approach, we propose a domain specific language for programming neural nets where the functional composition of only a few primitives eases development, maintenance and formal definition of the language compared to existing approaches