Simulation and study of the hadoop mapreduce platform on heterogeneous environments

MapReduce é um modelo de programação voltado à computação paralela em larga escala, e ao processamento de grandes volumes de dados. A implementação do modelo, e as suposições feitas em relação ao ambiente sobre o qual será executado, influenciam fortemente no tempo de computação dos jobs submetidos. O Hadoop, uma das implementações mais populares do MapReduce, e que será estudada neste trabalho, supõe que o ambiente de execução é homogêneo, prejudicando o desempenho do framework quando a grade apresenta um certo nível de heterogeneidade no que toca a capacidade de processamento das máquinas que a constituem. Como ferramenta de análise para as adaptações propostas, é desenvolvido um simulador para o MapReduce — tendo como base o simulador de grades SimGrid — com o objetivo de facilitar a implementação e avaliação de novos algoritmos de escalonamento de tarefas e distribuição de dados, dentre outros. Dentre as vantagens proporcionadas pelo uso do simulador é possível citar: a facilidade na implementação de algoritmos teóricos; a agilidade em testes para uma grande variedade de configurações; e a possibilidade de avaliar rapidamente a escalabilidade de algoritmos sem custos de infraestrutura. Em relação ao simulador, é ainda apresentada uma validação de seu comportamento em relação ao Hadoop MapReduce, comparando execuções do sistema em uma grade, com simulações que emulam as configurações reais. Uma vez validado o simulador, o mesmo é utilizado para avaliar as adaptações do Hadoop a ambientes heterogêneos. Os resultados obtidos, tanto com a validação do simulador, quanto com a implementação das adaptações propostas, apresentaram resultados positivos, demostrando que é viável utilizar simulação para estudar e avaliar diferentes implementações para o modelo MapReduce. Este trabalho, portanto, consiste em um estudo do funcionamento interno do Hadoop MapReduce, seu comportamento em ambientes heterogêneos, e também propõe um novo simulador, com os recursos necessários para avaliar adaptações em implementações do MapReduce.MapReduce is a programming model for large-scale parallel computing, and for processing large data sets. The model implementation, and the assumptions made about the running environment, strongly affect the job execution time. Hadoop, one of the most popular implementations of the MapReduce model, that will be studied in this work, assumes that the execution environment is homogeneous, deprecating its performance when the grid presents a certain level of heterogeneity, concerning the computation power of its nodes. As an analysis tool, a MapReduce simulator — having the SimGrid simulator as its base system — is developed to easily implement and evaluate new task scheduling and data distribution algorithms. As advantages that a simulator provides, it is possible to name: the simplified development of theoretical algorithms; the agility to test a great variety of configurations; and the possibility to quickly evaluate algorithm’s scalability without infrastructure costs. The simulator has its behavior validated against the Hadoop MapReduce, through comparisons of real executions of the framework on a real grid environment, and simulations that emulate the configurations used on the real execution. Once the simulator is validated, it is used to evaluate the modifications to the MapReduce algorithms on heterogeneous environments. The results of the simulator validation, and the evaluation of the proposed modifications, were positive, showing that it is possible to use simulation to study and evaluate different MapReduce implementations. Therefore, this work consists of a study about the Hadoop MapReduce, its behavior on heterogeneous environments, and it also proposes modifications in this framework to improve its performance on this kind of environment. To evaluate the proposed adaptations, a MapReduce simulator was developed, and it will also be presented in this study