Rozszerzenie problemu continual learning do środowiska uczenia ze wzmocnieniem

Używanie poprzednio zdobytej wiedzy, jest to klucz ludzkiej inteligencji. Niestety większość metod uczenia sztucznych sieci neuronowych skupia się na znajdowaniu rozwiązań wyłącznie dla pojedynczego zadania, dla których najmniejsza zmiana w dystrybucji danych powoduje zmianę zachowania i utratę wiedzy w sieci. Continual Learning stawie wyzwanie aby zmienić tę dynamikę uczenia. Model próbuję nauczyć się sekwencji zadań, bez zapominania poprzednio nauczonych, oraz gdy zostaje napotkane nowe zadanie, chcemy aby uzyskane rezultaty były lepsze niż gdybyśmy uczyli się wyłącznie na nim. Celem tej pracy jest zbadanie czy Transformer, który zaliczył imponujący postęp w innych dziedzinach Uczenia Maszynowego, oraz wykazał się obiecującymi właściwościamy w Multi-Task learningu, może przyczynić się w podobny sposób do rozwinięcia Continual Reinforcement Learning’u. W tym celu używamy Decision Transformera, model osiągający najlepsze rezultaty w Offline Reinforcement Learning’u. Z pomocą replay-buffer’a, nasza metoda zapobiega zapominaniu, niestety nie wpływa ona na poprawę metryki forward transfer. Aby dalej rozwijać naszą metodę, spróbowaliśmy zmienić jej sposób działania z operowania offline na online danych. Niestety otrzymane w ten sposób rezultaty nie spełniają naszych początkowych założeń.Using previously acquired knowledge, while learning new tasks, is the main feature of human learning. Unfortunately, most Deep Learning methods have focused on developing solutions only for single tasks, and even small shifts in data distribution can cause change in behavior and loss of information in the neural network. Continual Learning poses a challenge to change this dynamic. Model tries to learn a sequence of tasks without forgetting the previously learned ones. And while the new one is encountered, improve the performance compared to learning it on its own. Objective of this work is to determine if the Transformer model, which had shown tremendous progress in the other fields of Machine Learning and had shown promising properties in Multi-Task learning, can bring any improvements to Continual Reinforcement Learning. We use Decision Transformer, a model that is state-of-the-art in Offline Reinforcement Learning. With the help of rehearsal, our method mitigates the forgetting, unfortunately, it still suffers from poor forward transfer. To further develop our method, we tried to move from offline to fully online, but the results of the experiments do not fulfill our initial requirements