Attention in multiple-instance leaming

W pracy przedstawiono problem uczenia wielokrotnej instancji (ang. multiple-instance learning, MIL), przebiegającego na podstawie etykietowanych grup instancji. Kluczowym etapem MIL jest MIL pooling, czyli agregacja reprezentacji instancji na poziomie cech uzyskanych z modelu. W pracy porównano różne MIL pooling ze szczególnym uwzględnieniem mechanizmów atencji. Z tego względu, że modele MIL znajdują zastosowanie jako narzędzia wsparcia diagnostyki medycznej, zagadnienie doboru odpowiedniego MIL pooling jest niezwykle istotne. W pracy porównano następujące metody MIL pooling: średnią ważoną (atencję), dwie implementacje mechanizmu self-attention, a także sieci rekurencyjne RNN i LSTM. Porównanie wyników metod pozwala stwierdzić, że mechanizmy atencji i self-attention osiągają najlepsze rezultaty w zadaniach klasyfikacji wielokrotnej instancji.The following thesis concentrates on the topic of multiple instance learning (MIL) and the issue of using attention mechanism in the task of MIL pooling. MIL is a type of weakly supervised learning where data is considered as bags of instances with a label attached to the bag. In this context the problem of MIL pooling may be considered as a way of summarizing information in the multiple instance classification. MIL may be used as a support tool in medical diagnostic therefore choosing best MIL pooling is crucial. The thesis compares the following MIL pooling methods: weighted mean (attention), self-attention, RNN, LSTM. The obtained results show that attention and self-attention have the best outcomes in MIL classification