Improved resiliency for inter-datacenter network connections

Aujourd’hui, les services Internet ainsi que les applications de l’informatique en nuage, ou “Cloud Computing”, sont hébergés au sein de grands centres de calculs et de stockage (datacenters). Les opérateurs de services “Cloud” (ou Cloud ServiceProvider (CSP)) s’engagent à fournir à leurs clients un haut niveau de disponibilité de leurs infrastructures et de fiabilité des données traitées. A cette fin, la duplication des applications et des données clients les plus massives peuvent-être amenées à se faire dans des datacenters distants. Du point de vue des CSPs, garantir un haut niveau de résilience doit se faire au moindre coût, tant en termes d’investissements matériel que de coûts opérationnels. L’opération coordonnée des services “Cloud” répartis sur plusieurs datacenters distants nécessite une connectivité performante et résistante aux pannes entre ces sites. A ce titre, la plupart des CSPs mettent en place un maillage de connections redondées à usage privatif louées auprès des fournisseurs de services Internet. A priori, un tel schéma de connectivité est coûteux, peu flexible, le délai d’inclusion d’un nouveau datacenter dans le maillage souhaité pouvant s’avérer prohibitif du point de vue de l’utilisateur final. L’objectif de cette thèse est donc d’assurer la résilience des connections inter-datacenter au moyen d’une approche qui soit à la fois suffisamment dynamique et d’un coût de mise en œuvre inférieur à la constitution d’un maillage de lignes louées auprès des opérateurs. Dans cette démarche, nous nous appuyons sur le fait que les datacenters sont souvent connectés par le biais de plusieurs opérateurs à Internet. Nous définissons alors une architecture réseau superposée (overlay), que nous désignons par "Kumori" (le terme Kumori signifie "nuageux" en japonais) permettant de détecter et de réagir rapidement à des pannes de liens ou de nuds sur Internet entre différents datacenters. Cet overlay se compose de points d’inflexion de routage placés en coïncidence avec des IXPs (Internet Exchange Points). L’architecture Kumori est supposée être supervisée par un contrôleur centralisé. Une fois l’architecture Kumori définie, nous cherchons à en évaluer les caractéristiques en termes de performance et de résilience dans un contexte le plus réaliste possible. Dans un premier temps, nous comparons les performances de l’architecture Kumori à celles de l’architecture RON (Resilient Overlay Network), une autre architecture visant à améliorer la résilience des connexions sur Internet. Nous cherchons ensuite à déterminer le gain en termes de résilience obtenu grâce à l’architecture Kumori vis-à-vis de l’architecture RON en évaluant le nombre de chemins divers pouvant être établis entre les datacenters de deux grands opérateurs de services“Cloud”: Amazon et Atos. A cette fin, nous constituons une représentation d’Internet sous forme d’un graphe orienté à partir de trois jeux de données publics. Les nuds de ce graphe représentent les points de présence géographiques des différents réseaux opérateurs sur Internet. Cela nous permet de prendre en compte les différences de taille entre ces réseaux. L’un des challenges les plus importants que nous avons rencontré lors de cette évaluation est lié à la taille très importante du graphe que nous avons manipulé et à la complexité algorithmique de la recherche de chemins disjoints que nous avons réalisée. Enfin, nous présentons une évaluation économique du coût d’opération de l’architecture Kumori afin d’en évaluer la pertinence économique.Nowadays, Internet services as well as applications delivered using Cloud Computing are hosted in large datacenters. The Cloud Service Providers (CSP) commit to give to their customers access to their infrastructures with a high level of availability. They also target a high level of reliability of the data processed in their computing infrastructure. In order to respect those commitments, CSPs replicate the applications they run and the associated data in remote datacenters. From a CSP’s perspective, ensuring a high level of availability and reliability must be achieved while keeping the operational and capital expenditures as limited as possible. The coordinated operation of cloud applications from a set of remote datacenters requires using a performant and resilient connection scheme. In that extend, most CSPs deploy a mesh of private protected links rented from Internet service providers between their datacenters. A priori, such a connection scheme is costly and poorly flexible. Besides,from a CSP’s point of view, including a new datacenter in the desired network is an expensive approach. The goal of this PhD thesis is to allow CSPs to ensure their datacenter interconnections’ resiliency using a flexible and affordable connection scheme. In that extend, we take advantage of the fact that datacenters are most of the time connected to the Internet through several Internet service providers. We design an overlay network architecture, referred as Kumori. Kumori stands for "cloudy" in Japanese. This architecture aims to detect and to react quickly to link or node failures affecting inter-datacenter communications over the Internet. This overlay consists in routing inflection points placed at Internet Exchange Points (IXP). The Kumori architecture is managed by a central controller. After the description of the Kumori architecture, we evaluate its characteristics in terms of performance and resiliency. First, we compare Kumori’s performance to the performance achieved by RON (Resilient Overlay Network), another overlay network architecture aiming at enhancing resiliency over the Internet. We then, characterize the resiliency benefits provided by the Kumori architecture. To do so, we evaluate the number of disjoint paths that it can establish between the datacenters of two CSPs: Atos and Amazon. For the sake of this evaluation, we build a directed graph representation of the Internet using three public data sources in which the graph nodes represent the various operators’ geographical points of presence (PoP). Our Internet representation allows us to take into account the differences between network operators in the Internet. One of the major challenges we faced during this evaluation is related to the very large size of the graph we obtained, and to the algorithmic complexity of the path diversity search algorithm. At last, we discuss an evaluation of Kumori’s costs of operation in order to evaluate the economical potential of this architecture