Gain estimering med Multi-Arm Bandit policyer

This thesis investigates a new method to estimate the system norm using reinforcement learning. Given an unknown system, we aim to estimate its H∞- norm with a model-free approach, which involves solving a sequential input design problem. This problem is modeled as a multi-armed bandit, which provides us a way to study optimal decision making under uncertainty. In the multi-armed bandit framework, there are two different types of policies: index and Bayesian policies. The main goal of this thesis is to compare the performance of these two class of policies. We take Thompson Sampling representing Bayesian policies and five different UCB-type algorithms in the class of index policies. We compare these algorithms in two different setups depending on the class of input signals allowed to be applied to the system, denoted as single-frequency and power-spreading strategies. The input design method provides an asymptotically optimal way to collect input- output measurements of the system without having to rely on a model, providing asymptotically the best possible information to estimate the H∞- norm of the system. Simulation results show that algorithms with Bayesian policies are able to estimate the H∞-norm accurately in both single-frequency and power spreading strategies, while index policies compare very well for the power- spreading case but they are outperformed by the other class of input signals. Detta examensarbete undersöker en ny metod för att identifiera ett system normen genom att använda förstärknings inlärning. Givet ett okänt system, försöker vi estimera H∞-normen via en modell-fri metod vilket involverar att lösa ett sekventiellt input problem. Detta problem omformuleras som ett ett multi-armed bandit problem då ge oss ett sätt att undersöka optimala beslutfattning under opålitlighet. Det finns två olika sorters policies som används inom multi-armed bandit ramverk, Index policy och Bayesian policy. Huvudmålet med detta arbete är att jämföra prestandan mellan de två olika policyerna. Genom att använda Thompson Sampling som representation för bayesian policy och fem olika UCB algoritmer som representerar index policy. Vi jämför dessa algoritmer med två olika inställningar som skilja sig på vilket klass av input som tillåt att applicera till systemet. en singel-frekvens strategi och en power-spreading strategi. Denna input design metod ge oss ett asymptotiskt optimalt sätt att fånga input-output mätningarna av systemet utan att förlita den bästa informationen från modell att estimera H∞-normen av systemet. Simuleringen visar att genom att använda algoritmen med bayesian policyer så kunde Hnorm ackurat estimeras på båda single- frequency and power spreading strategier. Däremot med index policy, det fungerade väl med power- spreading fallet men presenterades värre med dom andra klasser av input signaler