Real-Time Estimation of Camera Motion in Video Sequences

O ovom radu ispitujemo tri pristupa temeljem kojih se želi estimirati pomak kamere iz video-sekvence. Estimacijom pomaka kamere žele se pratiti objekti koji predstavljaju matematičke izraze. Kamera gleda na planarne plohe kao što su bilježnica ili ploča, stoga je za estimaciju pomaka potrebno izračunati homografiju između dvije uzastopne slike iz video-sekvence. Prvi pristup se bazira na praćenju značajki pomoću algoritma Lucasa i Kanadea. Drugi pristup iz toka cijele slike računa parametre transformacije. Treći pristup je baziran na novim istraživanjima koja upućuju da konvolucijska neuronska mreža može naučiti izračunati transformaciju između dvije međusobno transformirane slike. Pristupi su uspoređeni po točnosti i vremenu izvršavanja.This paper examines three approaches for estimating the displacement of a camera from video sequences. By estimating camera displacement we want to track objects that represent mathematical expressions. The camera is looking at planar surfaces such as a notebook or whiteboard, so it is necessary to calculate the homography between two consecutive images from the video sequence to estimate the displacement. The first approach is based on feature tracking using the Lucas-Kanade algorithm. The second approach calculates the transformation parameters from the flow of the whole image. The third approach is based on new research that suggests that convolutional neural networks can learn to calculate the transformation between two transformed images. Approaches are compared for accuracy and execution time