Punktbasiertes 3D-Tracking starrer und dynamischer Modelle mit einem Stereokamerasystem für Mixed Reality

Virtual Reality (VR) und Augmented Reality (AR) sowie die verschiedenen Zwischenformen, die unter dem Begriff Mixed Reality (MR) zusammengefasst sind, haben vor allem eines gemeinsam: Tracking, das heißt die Verfolgung von Objekten oder Personen in Echtzeit, bildet einen wesentlichen technologischen Bestandteil zahlreicher MR-Anwendungen. Während im VR-Bereich Tracking ein wichtiges Instrument ist, um Anwendungen immersiver zu machen und eine natürlichere Interaktion mit den virtuellen Welten zu ermöglichen, ist Tracking für AR von elementarer Bedeutung, da vor allem der Blickpunkt und die Ausrichtung des Betrachters bekannt sein müssen, um eine Überlagerung der realen Sicht zu ermöglichen. Im Rahmen dieser Arbeit wurden verschiedene Algorithmen für videobasiertes, räumliches Tracking entwickelt. Alle Algorithmen basieren auf der bereits durch ein Stereokamerasystem rekonstruierten Menge von 3D-Punkten und ermöglichen Verfolgung von Objekten und/oder Personen in Echtzeit (3D-Tracking). Die Algorithmen sind auch an Systeme anpassbar, die aus einfachen Hardwarekomponenten bestehen. Dazu zählen insbesondere Stereokamerasysteme mit zwei einfachen Kameras. Ein Schwerpunkt dieser Arbeit besteht in der Eignung der Algorithmen für Infrarottrackingsysteme, bei denen die rekonstruierten 3D-Punkte die Koordinaten einheitlicher, kugelförmiger, also nicht unterscheidbarer, Marker sind. Weitere Grundlagen für die gesamte Verarbeitungspipeline eines solchen Trackingsystems, wie Kalibrierung der Kameras und Bildverarbeitung, Rekonstruktion der 3D-Punkte, sowie die Filterung der durch das Tracking bestimmten Transformationen sind hinsichtlich der Zusammenhänge mit den entwickelten Algorithmen kurz dargestellt. Die Trackingalgorithmen sind in verschiedene Bereiche unterteilt: Dies sind unter anderem die Verfolgung einzelner Punkte, die Verfolgung einer beliebigen Anzahl relativ zueinander fest (starr) positionierter Punkte oder die Verfolgung einer sich verändernden (dynamischen) Anordnung von Punkten. Die verschiedenen Arten von Konstellationen von 3D-Punkten werden in dieser Arbeit als Modelle bezeichnet, die jeweils eine effiziente und zuverlässige Verfolgung unterstützen. Neben dem eigentlichen Tracking wird ebenfalls das Initialisieren, beziehungsweise das Anlernen der Modelle, beschrieben. Ein Algorithmus für das Anlernen starrer Modellen wird dargestellt, bei dem das Modell während der Anlernphase frei bewegt werden kann. Die Erweiterung eines 3D-Punktes durch ein Punktmodell, welches Zusatzinformationen trägt, wie zum Beispiel dessen vorausgegangene Positionen oder bestimmte Indizes, wird so eingeführt, dass es für alle hier entwickelten Trackingalgorithmen verwendbar ist. Dies unterstützt die Möglichkeit verschiedene Modelltypen innerhalb eines Trackingframeworks zu kombinieren. Neben der Entwicklung der Theorie für die Algorithmen ist der direkte Bezug zu praktischen Anwendungen dargestellt, unter anderem anhand des Medarpa Projekts. Insbesondere die durch die Anwendungen vorgegebenen Anforderungen an die Algorithmen werden dabei berücksichtigt