Perceptionsinlärning för djup visualmotorisk kontrollav en robotarm

This thesis studies the problem of estimating the necessary information about the environment in order to make a robotic arm being able to learn autonomously simple control tasks. The state is estimated from a stream of images using a deep neural network. The network is divided into two models that estimate the state in parallel. The first one is an autoencoder like network that maps images to the states. The second one is a simple prediction model that infers the state from the previous one. On top of that, a model is proposed to estimate the uncertainty for each feature of the state estimated from the images. The two estimated states are joined together with this uncertainty measure to give a single robust state of the environment. To assess the performances of the models, a number of experiments are conducted in a simulation environment. Results show that a representation learned with this model is generally more robust to visual occlusion in the images. Finally, the estimated state is used to learn a control policy for the robotic arm to perform a simple task using reinforcement learning.Denna uppsats studerar problemet att approximera nödvändig information om omgivningen för att låta en robotarm autonomt lära sig utföra enkla kontroll- uppgifter. Denna information, det så kallade tillståndet, estimeras från en ström av bilder med hjälp av ett djupt neuralt nätverk. Nätverket är indelat i två modeller som uppskattar tillståndet parallellt. Det första är ett nätverk liknande en autoencoder som direkt mappar bilder till tillstånden. Den andra relativt enkla modellen predikterar direkt ett tillstånd från det föregående. Utöver detta föreslås en modell för att uppskatta osäkerheten för varje element i tillståndet som är beräknat från bilderna. De två approximationerna förenas till en enda robust uppskattning av tillståndet med hjälp av osäkerhetsmåttet. För att utvärdera modellerna utförs ett antal experiment i en simuleringsmiljö. Resultaten visar att representationen av tillståndet som modellen lärt sig i allmänhet är mer robust för visuellt blockerad information i bilderna. Slutligen används det uppskattade tillståndet i kombination med reinforcement learning för att lära robotarmen en kontrollpolicy för att utföra en enkel uppgift