Reinforcement Learning for Uplink Power Control

Uplink power control is a resource management functionthat controls the signal’s transmit power from a userdevice, i.e. mobile phone, to a base-station tower. It isused to maximize the data-rates while reducing the generatedinterference.Reinforcement learning is a powerful learning techniquethat has the capability not only to teach an artificial agenthow to act, but also to create the possibility for the agentto learn through its own experiences by interacting with anenvironment.In this thesis we have applied reinforcement learningon uplink power control, enabling an intelligent softwareagent to dynamically adjust the user devices’ transmit powers.The agent learns to find suitable transmit power levelsfor the user devices by choosing a value for the closed-loopcorrection signal in uplink. The purpose is to investigatewhether or not reinforcement learning can improve the uplinkpower control in the new 5G communication system.The problem was formulated as a multi-armed banditat first, and then extended to a contextual bandit. We implementedthree different reinforcement learning algorithmsfor the agent to solve the problem. The performance ofthe agent using each of the three algorithms was evaluatedby comparing the performance of the uplink power controlwith and without the agent. With this approach we coulddiscover whether the agent is improving the performanceor not. From simulations, it was found out that the agentis in fact able to find a value for the correction signal thatimproves the data-rate, or throughput measured in Mbps,of the user devices average connections. However, it wasalso found that the agent does not have a significant contributionregarding the interference.Uplink effektstyrning är en funktion för resurshanteringsom styr signalens sändningseffekt från en användaranordning,det vill säga från en mobiltelefon, till ett bas-stationstorn.Det används för att maximera datahastigheterna samtidigtsom den genererade interferensen reduceras.Förstärkningsinlärning är en kraftfull inlärningsteknik.Den har förmågan att inte bara lära en artificiell agent hurman agerar utan också skapa möjligheten för agenten attlära sig själv, genom att samspela med en miljö och samlaegna erfarenheter.I detta examensarbete har vi tillämpat förstärkningsinlärningpå uplink effektstyrning, vilket möjliggör för enintelligent mjukvaruagent att dynamiskt anpassa effektenpå sändningssignalerna hos användarens enheter. Agentenlär sig att hitta lämpliga sändningseffekter för enheternagenom att välja ett värde för korrigeringssignalen med slutenslinga i uplinken. Syftet är att undersöka huruvida förstärkningsinlärningkan förbättra uplink effektstyrningen idet nya 5G-kommunikationssystemet.Problemet formulerades som en Multi-Armed banditförst och utvidgades sedan till en Contextual bandit. Viimplementerade tre olika förstärkningsinlärning algoritmerför agenten att lösa problemet. Utförandet av agenten medanvändning av var och en av de tre algoritmerna utvärderadesgenom att jämföra prestanda för uplink effektstyrningenmed och utan agenten. Med detta tillvägagångssättkunde vi upptäcka om agenten förbättrar prestanda eller inte.Från våra simuleringar upptäcktes att agenten faktisktkan hitta ett värde för korrigeringssignalen som förbättrardatahastigheten, genomflödet mätt i Mbps, av genomsnittligaanslutningar för användarenheterna. Det har däremotockså visat sig att agenten inte har ett betydande bidragavseende interferensstörningarna