Safe learning for control: Combining disturbance estimation, reachability analysis and reinforcement learning with systematic exploration

Learning to control an uncertain system is a problem with a plethora ofapplications in various engineering elds. In the majority of practical scenarios,one wishes that the learning process terminates quickly and does not violatesafety limits on key variables. It is particularly appealing to learn the controlpolicy directly from experiments, since this eliminates the need to rst derivean accurate physical model of the system. The main challenge when using suchan approach is to ensure safety constraints during the learning process.This thesis investigates an approach to safe learning that relies on a partlyknown state-space model of the system and regards the unknown dynamics asan additive bounded disturbance. Based on an initial conservative disturbanceestimate, a safe set and the corresponding safe control are calculated using aHamilton-Jacobi-Isaacs reachability analysis. Within the computed safe set avariant of the celebrated Q-learning algorithm, which systematically exploresthe uncertain areas of the state space, is employed to learn a control policy.Whenever the system state hits the boundary of the safe set, a safety-preservingcontrol is applied to bring the system back to safety. The initial disturbancerange is updated on-line using Gaussian Process regression based on the measureddata. This less conservative disturbance estimate is used to increase thesize of the safe set. To the best of our knowledge, this thesis provides the rstattempt towards combining these theoretical tools from reinforcement learningand reachability analysis to safe learning.We evaluate our approach on an inverted pendulum system. The proposedalgorithm manages to learn a policy that does not violate the pre-speciedsafety constraints. We observe that performance is signicantly improved whenwe incorporate systematic exploration to make sure that an optimal policy islearned everywhere in the safe set. Finally, we outline some promising directionsfor future research beyond the scope of this thesis.Maskininlärning för att uppnå en reglerstrategi för ett delvis okända systemär ett problem med en mångfald av tillämpningar i olika ingenjörvetenskapligaområden. I de esta praktiska scenarier vill man att inlärningsprocessen skaavsluta snabbt utan att bryta inte mot givna bivillkor. Särkild lockande är detatt lära in en reglerstrategi direkt från experiment eftersom man då kringgårnödvändigheten att härleda en exakt modell av systemet först. Den största utmaningenmed denna metod är att säkerställa att säkerhetsrelaterade bivillkorär uppfyllda under hela inlärningsprocessen.Detta examensarbete undersöker ett tillvägagångssätt att uppnå säker maskininlärning som bygger på en delvis känd modell av tillståndsrummet och betraktarde okända dynamikerna som en additiv begränsad störning. Baseratpå en initial konservativ uppskattning av störningen, beräknas en säker tillståndsmängd och en motsvarande reglerstragi genom använding av Hamilton-Jacobi-Isaacs nåbarhetsanalys. Inom den beräknade tillståndsmängden används en variant av Q-inlärning som systematiskt utforskar okända delar av tillståndsrummet för att lära in en reglerstrategi. När systemet stöter på gränsenav den säkra tillståndsmängden, tillämpas istället en säkerhetsbevarande reglerstrategiför att få systemet tillbaka till säkerhet. Den första uppskattningenav störningen uppdateras kontinuerligt genom Gaussprocessregression baseradpå uppmätt data. Nya, mindre konservativa uppskattningar används för attöka storleken på den säkra tillståndsmängden. Så vitt vi vet är detta examensarbetedet första försöket att kombinera dessa teoretiska metoder, frånförstärkningsinlärning och nåbarhetsanalys, för att uppnå säker inlärning.Vi utvärderar vår metod på ett inverterat pendelsystem. Den föreslagnaalgoritmen klarar av att lära in en reglerstrategi som inte bryter mot i förvägspecierade bivillkor. Vi iakttar att prestandan kan förbättras avsevärt om viintegrerar systematisk utforskning för att säkerställa att den optimala reglerstrateginlärs in överallt i den säkra tillståndsmängden. Slutligen diskuterar vinågra lovande inriktingar för framtida forskning utöver omfattningen av dettaarbete