Ciągłe uczenie ze scalaniem zadań w celu ułatwienia ich predykcji

Omawiana tu praca została poświęcona analizie technik ciągłego uczenia. Zakładamy scenariusz, w którym zadania są poznawane pojedynczo, a dane z poprzednich zadań nie są przechowywane. Jak u wielu innych, rozważane przez nas zadania są problemami klasyfikacji obrazów. Swoją pracę opieramy na takich metodach jak: Knowledge Distillation, Learning without Forgetting i Expert Gates. Wykonujemy serie eksperymentów na zbiorze danych CIFAR-100, które empirycznie pokazują możliwości powszechnie stosowanych metod i ich modyfikacji. Analizujemy zalety i wady modeli, gdy rozważane zadania są podobne, co skłoniło nas do zaproponowania techniki Task Merge (scalanie zadań). Jest ona inspirowana metodą Neural-Backed Decision Trees i ma na celu zmniejszenie wpływu niepoprawnych predykcji zadań na wydajność modelu.The work discussed here has been dedicated to the analysis of continual learning techniques. We assume a task incremental setting, where tasks are received one at a time and data from previous tasks is not stored. As many others, we focus on solving image classification tasks. We base our work on methods such as Knowledge Distillation, Learning without Forgetting and Expert Gates. We perform series of experiments on CIFAR-100 dataset that empirically showcase abilities of commonly used methods and their modifications. We analyse advantages and disadvantages of training on highly similar tasks, which led us to proposing Task Merge technique. It is inspired by Neural-Backed Decision Trees and aims to reduce impact of incorrect task predictions on overall performance of the model trained in continual learning setting