An improved segmentation tracker using discriminative learning

V nalogi predlagamo in analiziramo ustreznost različnih diskriminativnih korelacijskih filtrov (DCF) v arhitekturi sledilnika D3S. Najprej se posvetimo obstoječemu lokalizacijskemu filtru, kjer namesto polnega predlagamo filter z ločenimi kanali. Za združevanje konvolucijskih odzivov posameznih kanalov predlagamo povprečenje in uteženo povprečenje. Zamenjamo tudi učni algoritem, in sicer uporabimo najstrmejši spust. Poleg lokalizacije podobno formulacijo DCF uporabimo tudi v segmentacijskem delu sledilnika. Definiramo več različic sledilnika D3S, kjer vsaka testira posamezno spremembo. Za evalvacijo uporabimo ogrodje VOT in podatkovno zbirko VOT2021. Rezultati pokažejo, da učenje po ločenih kanalih sicer izboljša natančnost, vendar pa pade robustnost, zato je bolj smiselna uporaba polnih filtrov. Obetavne rezultate vrne menjava učnega algoritma, kjer se uspešnost sledilnika sicer zmanjša za 1.6 %, vendar pa v povprečju deluje 23 % hitreje. V kategoriji nenadzorovanega sledenja, se uspešnost sledilnika z novim učnim algoritmom izboljša za 8 %. Segmentacija z DCF ni prinesla želenih izboljšav. Najboljša različica je osnovno verzijo poslabšala za 13 %. Analiza je pokazala, da je DCF sicer sposoben vračati natančne segmentacije, vendar pa je zelo občutljiv na spremembe izgleda tarče, hkrati pa ga je težko uspešno posodabljati.In this thesis we study adequacy of different formulations of discriminative correlation filters (DCF) in the architecture of D3S tracker. First we study existing DCF which is used for localization. We propose different formulation of a filter, where instead of full filter we use separate channels. To merge responses of each channel we use average and weighted average. We also replace the filter optimization algorithm where we use steepest descent. Next, we apply similar filter to the segmentation module of a tracker. We define multiple instances of a D3S where each instance tests its own modifications. We evaluate them using VOT toolkit and VOT2021 dataset. Results show that using separate channels does improve the accuracy, but robustness drops and thus is better to use full filters instead. We achieve promising results by changing the optimization algorithm, where the performance drops for 1.6 % comparing to the baseline version, while on average it works 23 % faster. In the unsupervised category the performance of a tracker with new optimization algorithm, improves for 8 %. Using DCF for segmentation purposes does not bring expected results. The performance of the best version with DCF segmentation, is 13 % worse, comparing to the baseline. The analysis shows that DCF is capable of precise segmentation, but the filter is very sensitive to appearance changes and it is hard to update it successfully