The Cramer-Wold measure in the problem of continuous learning

W tej pracy przedstawię skuteczną strategię regularyzacji (CW-TaLaR), którą można wykorzystać w problemie ciągłego douczania. Stosowany jest w niej term penalizujący, który opiera się na pomiarze braku podobieństwa między dwoma rozkładami prawdopodobieństwa zdefiniowanymi na docelowej warstwie podstawowej sieci neuronowej, która jest współdzielona przez wszystkie zadania. Metoda ta posiada dwie strategie modelowania rozkładu warstwy docelowej, które zapobiegają zapominaniu podczas uczenia się nowego zadania, obie metody wykorzystują odległość Cramera-Wolda. Jednocześnie metoda ta nie wymaga zapamiętywania poprzednich zadań. Eksperymenty zostały przeprowadzone na trzech zbiorach danych o różniej trudności, aby pokazać konkurencyjność metody CW-TaLaR w porównaniu z istniejącymi metodami ciągłego uczenia.In this paper I will present an effective regularization strategy (CW-TaLaR) that can be used in the problem of continuous learning. It uses a penalizing term which is based on measuring the dissimilarity between two probability distributions defined on the target base layer of the neural network that is shared by all tasks. This method has two strategies for modeling the distribution of the target layer to prevent forgetting when learning a new task, both methods use the Cramer-Wold distance. At the same time, this method does not require memorizing previous tasks. The experiments were carried out on three datasets of different difficulty to show the competitiveness of the CW-TaLaR method compared to existing continuous learning methods