Machine learning methods for semantic video analysis

This dissertation studied machine learning and computer vision methods for semantic image and video analysis. More specifically, the problems of face recognition, human action recognition, object recognition and video summarization were studied as classification problems, along with the problems of privacy protection and robustness to adversarial attacks. Supervised, semi-supervised and deep learning algorithms were proposed, in the context of one-class classification, multiclass classification, adversarial attacks and defenses. Novel methodologies that provide increased classification performance were developed, attributed to the introduction of additional regularization terms to the optimization problems of well-known learning algorithms, in order to exploit geometric training data relationships. Finally, a novel adversarial attack methodology that introduces privacy protection criteria was developed, along with a mechanism that increases the classification model robustness against adversarial attacks, by incorporating a novel neural network layer based on one-class classifiers.Σε αυτή την διατριβή μελετήθηκαν μέθοδοι μηχανικής μάθησης και τεχνητής όρασης για σημασιολογική ανάλυση δεδομένων εικόνας και βίντεο. Πιο συγκεκριμένα, μελετήθηκαν τα προβλήματα αναγνώρισης προσώπου, ανθρώπινης κίνησης, αντικειμένων και περίληψης βίντεο, ως προβλήματα ταξινόμησης, καθώς και τα προβλήματα προστασίας ιδιωτικότητας και ευρωστίας απέναντι σε αντιπαραθετικές επιθέσεις. Αλγόριθμοι επιβλεπόμενης, ημι-επιβλεπόμενης και βαθιάς μάθησης, προτάθηκαν στα πλαίσια της ταξινόμησης μίας κλάσης, της ταξινόμησης πολλών κλάσεων, των αντιπαραθετικών επιθέσεων και αμυνών. Αναπτύχθηκαν καινοτόμες μεθοδολογίες που προσδίδουν αυξημένες επιδόσεις ταξινόμησης, οι οποίες οφείλονται στην εισαγωγή επιπλέον όρων κανονικοποίησης στα προβλήματα βελτιστοποίησης γνωστών αλγορίθμων, με σκοπό την αξιοποίηση γεωμετρικών σχέσεων μεταξύ των δεδομένων εκπαίδευσης. Τέλος, αναπτύχθηκε καινοτόμος μεθοδολογία για την παραγωγή αντιπαραθετικών επιθέσεων που εισάγει κριτήρια προστασίας ιδιωτικότητας, καθώς και ένας μηχανισμός αύξησης της ευρωστίας των μοντέλων ταξινόμησης απέναντι σε αυτές, μέσω της ενσωμάτωσης ενός καινοτόμου νευρωνικού επιπέδου που βασίζεται σε ταξινομητές μίας κλάσης