Reinforcement Learning for Energy Harvesting 5G Mobile Networks

Next generation mobile networks will support 1,000 times more capacity than today, for more than 100 billion devices with typical user rates of 10 Gb/s, and significantly lower latency and higher reliability. A higher number of Base Stations (BSs) will be needed to satisfy such requirements. The enormous growth in the number of access points will lead to an equally large growth in the energy footprint of mobile networks, which nowadays is approaching 10% of the world electricity generation. The thesis will study solutions to decrease the carbon footprint of mobile networIn the era of ubiquitous connectivity, next generation mobile networks capacity will continuously increase in order to support a progressively higher volume of data traffic, providing low latency and high reliability. The side effect of such growth is a drastic increase of energy footprint and, therefore, a high level of greenhouse gases emissions by ICT industry network infrastructures. Moving from 3G and 4G coverage and capacity oriented optimization, 5G networks are converging towards an energy oriented planning by proposing Renewable Energy Source powered Heterogeneous Networks as one of the effective sustainable design solutions to face this problem. Nevertheless, besides the reduced deployment costs, due to the low emitted power and the small form factor of the base stations, Quality of Service requirements should be met using the available energy budget coming from intermittent and erratic sources. They need, so, further intelligent procedures, protocols, and Machine Learning based algorithms to successfully achieve their goal. Objective of this thesis is to conduct a performance evaluation and analysis of a two-tier RES-powered HetNet simulated through a system level platform which uses a reinforcement learning based radio resource management algorithm. After a focus on system?s hourly statistical behaviour, a comparative analysis is done between a ?greedy? algorithm (which turns OFF the base stations only in case their battery level goes below a threshold), and an off-line trained Q-Learning algorithm, which can be considered a hybrid instance across supervised and reinforcement learning.En la era de la conectividad ubicua, la capacidad de la siguiente generación de redes móviles crecerá continuamente para soportar un volumen de tráfico de datos que crece progresivamente, proporcionando baja latencia y alta fiabilidad. El efecto secundario de este crecimiento es un drástico incremento de la huella energética y, por tanto, un alto nivel de emisión de gases de efecto invernadero por las infraestructuras de red de la industria ICT. Moviéndose de la cobertura y optimización orientada a capacidad del 3G y 4G, las redes 5G están convergiendo hacia una planificación orientada de la energía, proponiendo redes heterogéneas (Hetnet) potenciadas por fuentes de energía renovables (RES) como una de las soluciones de diseño sostenible efectivo para encarar este problema. Sin embargo, además de los costes de despliegue reducidos, debidos a la baja potencia emitida y el factor del tamaño reducido de las estaciones base, los requisitos de calidad del servicio deberían satisfacerse utilizando el presupuesto disponible de energía proveniente de fuentes intermitentes y erráticas. Se necesitan, por lo tanto, procedimientos más inteligentes, protocolos y algoritmos basados en Machine Learning para alcanzar con éxito sus objetivos. El objetivo de esta tesis es llevar a cabo una evaluación de rendimiento y análisis de Hetnets de dos niveles potenciadas por RES, simulada a través de una plataforma de sistema de niveles que usa un algoritmo de gestión de recursos radio basado en aprendizaje por reforzamiento. Después de un delicado análisis del comportamiento mensual del sistema, se hace una comparación entre un algoritmo ?codicioso? (que apaga las estaciones base solo en el caso que la batería baje de un cierto umbral) y un algoritmo Q-Learning off-line, que puede ser considerado una instancia híbrida entre aprendizaje supervisado y reforzado.En l'era de la connectivitat ubiqua, la capacitat de la següent generació de xarxes mòbils creixerà contínuament per suportar un volum de tràfic de dades que creix progressivament, proporcionant baixa latència i alta fiabilitat. L'efecte secundari d'aquest creixement és un dràstic increment de petjada energètica i, per tant, un alt nivell d'emissió de gasos d'efecte hivernacle per les infraestructures de xarxa de la indústria ICT. Movent-se de la cobertura i optimització orientada a capacitat del 3G i 4G, les xarxes 5G estan convergint cap a una planificació orientada de l'energia, proposant xarxes herogènies (Hetnet) potenciades per fonts d'energia renovables (RES) com una des les solucions de disseny sostenible efectiu per encarar aquest problema. No obstant això, a més dels costos de desplegament reduïts, deguts a la baixa potència emesa i el factor del tamany reduït de les estacions base, els requeriments de qualitat de servei haurien de satisfer-se utilitzant el pressupost disponible d'energia provinent de fonts intermitents i erràtiques. Es necessiten, per tant, procediments més intel·ligents, protocols i algorismes basats en Machine Learning per aconseguir amb èxit els seus objectius. L'objectiu d'aquesta tesi és dur a terme una avaluació de rendiment i anàlisi de Hetnets de dos nivells potenciades per RES, simulada a través d'una plataforma de sistema de nivells que fa servir un algorisme de gestió de recursos ràdio basat en aprenentatge per reforç. Després d'un delicat anàlisi del comportament mensual del sistema, es fa una comparació entre un algorisme "codiciós" (el qual apaga les estacions base només en el cas que la bateria baixi d'un cert llindar) i un algorisme Q-Learning off-line, el qual pot ser considerat una instancia híbrida a través d'aprenentatge supervisat i reforçat