WorkflowSimRL: escalonamento de workflows de larga-escala em nuvens de computadores com uso de aprendizado por reforço

As nuvens de computadores têm atraído muito interesse da comunidade científica nos últimos anos por oferecerem uma grande gama de recursos para qualquer usuário a partir da Web. Duas das grandes vantagens das nuvens frente a outros ambientes como clusters e grades computacionais são (i) a elasticidade de recursos, e (ii) o pagamento do serviço sob demanda. Muitas dessas simulações são compostas por um conjunto de programas encadeados em um fluxo coerente, onde a saída de um programa é a entrada do próximo no fluxo. A esse fluxo atribuímos o nome de Workflow. Muitos dos workflows são considerados de larga-escala e demandam ambientes de computação de processamento de alto desempenho (PAD) e de técnicas de paralelismo para terminar sua execução em um tempo aceitável. As nuvens se mostram como um ambiente propício para a execução desses workflows que demandam PAD. Entretanto, escalonar as tarefas associadas a um workflow no ambiente de nuvem ainda é um problema que permanece em aberto. Diversos fatores fazem com que esse escalonamento em nuvens seja um desafio, como por exemplo: (i) as VMs apresentam uma flutuação de desempenho ao longo do tempo, (ii) cada tipo de Máquina Virtual (VM) está associada a uma capacidade de processamento diferente (recursos heterogêneos), (iii) o custo de transferência de dados é alto, logo a localidade dos dados tem fator fundamental. Os algoritmos da área de Aprendizado por Reforço (AR) são apropriados para este cenário. Este trabalho apresenta a extensão realizada no simulador WorkflowSim chamada de WorkflowSimRL, propondo uma abordagem para utilizar o AR aplicado ao problema do escalonamento de tarefas de workflows em VMs de nuvens computacionais. O objetivo é avaliar o impacto desse tipo de algoritmo no tempo total de execução, no tempo de simulação dentro do simulador, e aplicar o plano de escalonamento gerado pelo WorkflowSimRL em uma execução em um ambiente real de um Workflow (Amazon EC2), utilizando o sistema de workflows SciCumulus como arcabouço para execução de workflowsComputer clouds has attracted much interest from the scientific community in recent years by offering a wide range of resources to any user from the Web. Two of the great advantages of clouds versus other environments such as clusters and computing grids are i) the elasticity of resources, and (ii) the payment of the service on demand. Many of these simulations are composed of a set of programs chained in a coherent flow, where the output of one program is the next input in the flow. To this flow we assign the name of Workflow. Many of the workflows are considered large-scale and require high performance computing (PAD) computing environments and parallelism techniques to complete their execution in an acceptable time. The clouds are shown as an environment to the execution of these workflows that demand PAD. However, scheduling the tasks associated with a workflow in the cloud environment is still an open problem. Several factors make this cloud scheduling a challenge, for example: (i) VMs show a fluctuation of performance over time, (ii) each type of Virtual Machine (VM) is associated with a processing capacity (heterogeneous resources), (iii) the cost of data transfer is high, so the locality of the data has a fundamental factor. Reinforcement Learning (RL) algorithms are appropriate for this scenario. This work presents the extension carried out in the WorkflowSim simulator called WorkflowSimRL, proposing an approach to use RA applied to the problem of task scheduling of workflows in computational cloud VMs. The objective of this work is to evaluate the impact of this type of algorithm on the total execution time in the simulation time within the simulator and to apply the scheduling plan generated by the WorkflowSimRL in an execution in a real environment of a Workflow (Amazon EC2), using the SciCumulus workflows system as a framework for the execution of workflows39 p