Εκτίμηση Τρισδιάστατης Κίνησης και Εύρεση Στρωμάτων Βάθους σε Ακολουθίες Εικόνων

In this thesis two problems are addressed: estimation of camera 3-D motion and image depth layering. For the first problem, the method we adopt consists of two stages. During the first stage a 2-D motion field is computed. During the second stage, the 3-D motion parameters are identified by equations linking the projected 2-D motions and 3-D motions inside the image sequence. During this stage, the main problem comes from the fact that the optical flow field may contain a set of noisy and partially incorrect data (outliers). The negative effects of this set of outliers to the motion estimation, increase with the complexity of the motion model that is used to describe the camera motion. Therefore, the approach we adopt relies on the use of a hierarchy of motion models. Simpler models are first tested, and then more complex models are considered. In this way we aim at finding the simplest possible model, which can adequately describe the camera motion. Additionally, at each stage of the algorithm a robust estimation method is used to cope with the set of outliers. The second problem, that is image depth layering, is ultimately reduced to the problem of segmenting the optical flow field. For this purpose, an iterative deterministic relaxation algorithm is used and the extraction of the image depth layers is based on both optical flow and luminance information. The iterative algorithm employed in this thesis is the HCF (Highest Confidence First). Experimental results regarding real and synthetic image sequences are given to demonstrate the proposed methods.Δύο είναι τα θέματα που αντιμετωπίζονται κατά την παρούσα εργασία: το πρόβλημα της εκτίμησης της τρισδιάστατης κίνησης και αυτό της εύρεσης των στρωμάτων βάθους μέσα σε μια ακολουθία εικόνων. Η μέθοδος που ακολουθείται για την επίλυση του πρώτου προβλήματος αποτελείται από δύο στάδια. Κατά το πρώτο στάδιο προσδιορίζεται ένα δισδιάστατο πεδίο οπτικής ροής. Κατά το δεύτερο στάδιο, οι παράμετροι της τρισδιάστατης κίνησης υπολογίζονται μέσω σχέσεων που συνδέουν αυτές με την οπτική ροή που έχει ήδη υπολογισθεί. Το κύριο πρόβλημα που παρουσιάζεται κατά τη διάρκεια της δεύτερης φάσης του αλγορίθμου, έγκειται στο γεγονός ότι η οπτική ροή περιέχει ένα ποσοστό από εσφαλμένες εκτιμήσεις (outliers). Η αρνητική επίδραση των εσφαλμένων αυτών εκτιμήσεων στο τελικό αποτέλεσμα, αυξάνει με την πολυπλοκότητα του μοντέλου που χρησιμοποιείται για τη περιγραφή της κίνησης της κάμερας. Για να αντιμετωπιστεί το πρόβλημα αυτό, η προσέγγιση που υιοθετείται κατά την παρούσα εργασία, συνίσταται στη χρήση μιας ιεραρχίας μοντέλων τρισδιάστατης κίνησης. Σκοπός της ιεράρχησης αυτής είναι η εύρεση του απλούστερου δυνατού μοντέλου, το οποίο είναι ικανό να περιγράψει ικανοποιητικά τη κίνηση της κάμερας. Επιπλέον, για να μειωθεί περαιτέρω η αρνητική επίδραση των outliers γίνεται χρήση και ενός robust αλγόριθμου υπολογισμού. Σχετικά με το δεύτερο πρόβλημα, δηλαδή την εύρεση των στρωμάτων βάθους, αυτό ανάγεται σε ένα πρόβλημα τμηματοποίησης του πεδίου της οπτικής ροής. Για την τμηματοποίηση αυτή γίνεται χρήση του επαναληπτικού αλγόριθμου χαλάρωσης HCF (Highest Confidence First). Προκειμένου να αυξηθεί η αποτελεσματικότητα και σταθερότητα του αλγορίθμου, η εξαγωγή των στρωμάτων βάθους βασίζεται σε πληροφορία που προέρχεται σε συνδυασμό με την οπτική ροή και από την φωτεινότητα. Πειραματικά αποτελέσματα εξάγονται για πραγματικές αλλά και συνθετικές ακολουθίες εικόνων με στόχο τον έλεγχο της απόδοσης των προτεινόμενων μεθόδων