Controlling energy consumption in data centers via reinforcement learning

Nowadays the high demand for Internet services creates the need for systems with parallel processing and a large number of machines. Often, these systems operate with more servers than needed to ensure an appropriate service at moments of peak demand. However, this generates enormous energy consumption which could be avoided. This work proposes a method to control the energy consumption using reinforcement learning, aiming to find a better way to minimize the total cost while maintaining quality of service. The system considered works with one block of servers, called regular, which is always turned on and one or more blocks, called reserves, which can be turned on or off. The Q-learning algorithm is used to determine the best moment to turn on or off the reserve blocks. A simulator was developed to test the proposed method.Atualmente a alta demanda por serviços de Internet cria a necessidade de operar sistemas de processamento paralelo com um grande número de máquinas. Muitas vezes tais sistemas operam com um número de servidores maior do que seria necessário para garantir serviço de forma adequada em momentos de pico de demanda. Contudo, isso gera um enorme gasto de energia que poderia ser evitado. Neste trabalho é proposto um método de controle do sistema de servidores utilizando aprendizado por reforço, visando achar uma maneira para minimizar os gastos. O sistema considerado aqui opera com um bloco de servidores que estão sempre em funcionamento e um ou mais blocos de servidores reservas que podem ser ligados ou desligados. O algoritmo Q-learning é usado para determinar o melhor momento para ligar os blocos de servidores reservas. Uma simulação foi desenvolvida para testar este método