Oövervakad Förstärkningsinlärning och Finjustering av Nedströmsuppgifter för Simulerad Robotik

Deep reinforcement learning algorithms typically require large amounts of data to solve a specific problem, and do not generalize well to other tasks. Recent methods in unsupervised reinforcement learning can learn a range of different behaviors within an environment without the use of task-specific data. This could be helpful in situations where designing many different task objectives and experiments, or acquiring labeled data is costly. In this work we study unsupervised reinforcement learning in a simulated robotics environment, where the agent takes continuous valued actions. We propose an adaptation of a recent method in unsupervised reinforcement learning to continuous action environments. The goal is to learn a set of skills which can be used as a pretrained model for various downstream tasks in order to reduce the amount of required data and computational resources. Experiments show that the algorithm manages to teach a simulated robot various movement related behaviors, and some of the behaviors have moderate performance on the available supervised task. The experiments are, however, not enough to conclude whether the algorithm is benficial for pretraining and finetuning, and more environments and experiments are required to understand the algorithm further. Algoritmer för djup förstärkningsinlärning kräver vanligtvis stora mängder data för att lösa ett specifikt problem och generaliserar inte till andra uppgifter. Nyligen använda metoder för oövervakad förstärkningslärning kan lära sig en rad olika beteenden inom en miljö utan att använda målspecifik data. Detta kan vara till hjälp i situationer där det är dyrt att utforma många olika uppgiftsmål och experiment, eller att skaffa annoterad data är dyrt. I detta arbete studerar vi oövervakat förstärkningslärande i en simulerad robotmiljö, där agenten vidtar åtgärder av kontinuerligt värde. Vi föreslår en anpassning av en ny metod i oövervakad förstärkningslärning till kontinuerliga handlingsmiljöer. Målet är att lära sig en uppsättning färdigheter som kan användas som en förtränad modell för olika nedströmsuppgifter, för att minska mängden data och beräkningsresurser som behövs. Experiment visar att algoritmen lyckas lära en simulerad robot olika rörelserelaterade beteenden, och vissa av beteendena har måttlig prestanda på den tillgängliga övervakade uppgiften. Experimenten är dock inte tillräckligta för att dra slutsatsen om algoritmen är bra för förträning och finjustering, och fler miljöer och experiment krävs för att förstå algoritmen ytterligare