Study of reinforcement learning techniques in the management of computational resources

Reinforcement learning is the branch of machine learning characterized by learning from interaction with its environment. Over the years, technology advances have been evolving exponentially and therefore, resource management solutions that need to model problems that are in constant fluctuation could be troubling. This is reflected in the growing importance of Reinforcement Learning algorithms in order to solve these problems, and more specifically, resolve resource management problems. Consequently, the interrogative of what reinforcement learning methods are best suited to resolve different resource management jobs arises. Parting from a series of hypotheses, we try to address this question by developing a virtual environment and submitting a group of algorithms to a set of tests, monitoring the results in order to analyse them and find the advantages and disadvantages of each one of them. Following this procedure, we were able to find that reinforcement learning methods are quite versatile, very different among them and that there are several factors that can affect the overall performance independently of the chosen algorithm.El aprendizaje por refuerzo es la rama del aprendizaje automático que se caracteriza por aprender de la interacción con su entorno. Con el paso de los años, los avances tecnológicos han ido evolucionando exponencialmente y, por tanto, las soluciones de gestión de recursos que necesitan modelar problemas que están en constante fluctuación pueden resultar preocupantes. Esto se refleja en la creciente importancia de los algoritmos de aprendizaje por refuerzo para resolver estos problemas y, más específicamente, resolver problemas de gestión de recursos. En consecuencia, surge la interrogante de qué métodos de aprendizaje por refuerzo son los más adecuados para resolver diferentes trabajos de gestión de recursos. Partiendo de una serie de hipótesis, intentamos abordar esta cuestión desarrollando un entorno virtual y sometiendo un grupo de algoritmos a un conjunto de pruebas, haciendo un seguimiento de los resultados para analizarlos y encontrar las ventajas y desventajas de cada uno de ellos. Siguiendo este procedimiento pudimos encontrar que los métodos de aprendizaje por refuerzo son bastante versátiles, muy diferentes entre ellos y que existen una serie de factores que pueden afectar el rendimiento general independientemente del algoritmo elegido.L'aprenentatge per reforç és la branca de l'aprenentatge automàtic que es caracteritza per aprendre de la interacció amb el seu entorn. Amb el pas dels anys, els avenços tecnològics han anat evolucionant exponencialment i, per tant, les solucions de gestió de recursos que necessiten modelar problemes que estan en constant fluctuació poden resultar preocupants. Això es reflecteix en la creixent importància dels algoritmes d'aprenentatge per reforç per resoldre aquests problemes i, més específicament, resoldre problemes de gestió de recursos. En conseqüència, sorgeix la interrogant de quins mètodes d'aprenentatge per reforç són els més adequats per a resoldre diferents treballs de gestió de recursos. Partint d'una sèrie d'hipòtesis, vam intentar abordar aquesta qüestió desenvolupant un entorn virtual i fent un conjunt de proves un grup d'algoritmes, realitzant un seguiment dels resultats per analitzar-los i trobar els avantatges i desavantatges de cada un d'ells. Seguint aquest procediment vam poder trobar que els mètodes d'aprenentatge per reforç són bastant versàtils, molt diferents entre ells i que hi ha una sèrie de factors que poden afectar el rendiment general independentment de l'algoritme triat