Ordonnancement dynamique des transferts dans MapReduce sous contrainte de bande passante

National audienceDe nombreux domaines scientifiques font désormais face à un déluge de données. L'une des approches proposées pour permettre le traitement de tels volumes est le paradigme de programmation MapReduce introduit par Google. Ce schéma d'exécution très simple se compose de deux phases, map et reduce entre lesquelles a lieu une phase d'échange massif de données entre les machines exécutant l'application. Dans cet article, nous proposons un système linéaire définissant un partitionnement des données à traiter et un algorithme d'ordonnancement dynamique des transferts afin d'optimiser cette phase intermédiaire. Nous comparons cette approche à celle reposant sur un programme linéaire et un ordonnancement statique par phases. Les expériences menées montrent que notre approche produit des ordonnancements plus compacts en un temps bien plus court