Dreidimensionale Skizzen in Erweiterter Realität

Die Technik der Erweiterten Realität (ER) kann dazu eingesetzt werden, künstliche und natürliche Sinneseindrücke zu einer konsistenten Gesamtwahrnehmung zu verschmelzen. Dabei soll der Nutzer den Eindruck haben, dass die physikalische Welt mit virtuellen Objekten zu einer erweiterten Welt ergänzt wurde. In dieser Erweiterten Welt kann der Nutzer sinnvoll mit den wahrgenommenen Objekten interagieren. In dieser Arbeit wird eine Methode vorgeschlagen, mit der durch den Einsatz der ER-Technik virtuelle Skizzen direkt in die physikalische Welt gezeichnet werden können. Hierzu wird in dieser Abhandlung der Begriff ” dreidimensionale Skizze“ verwendet. Die skizzierte Information soll aber nicht nur zweidimensional, sondern auch dreidimensional repräsentiert werden und somit aus verschiedenen Perspektiven darstellbar sein. Damit man das Objekt aus verschiedenen Perspektiven betrachten kann, braucht man eine dreidimensionale Repräsentation des Objektes. Es handelt sich also nicht um eine zweidimensionale räumliche Skizze eines dreidimensionalen Objektes, sondern um eine dreidimensional repräsentierte Skizze eines räumlichen Objektes. Ein Anwendungsbereich für dreidimensionale Skizzen ist die Erfassung von Lageinformation nach Katastrophen. Die dreidimensionale Skizze soll die zweidimensionale Zeichnung als Lagekarte bzw. Lageskizze ergänzen. Mit Hilfe von Kartenmaterial lassen sich eingesetzte Kräfte, Infrastruktur, gefährdete Objekte, Gefahrenentwicklung, Schäden und Sonstiges in Beziehung bringen. Die bisherigen Verfahren zur Generierung von Skizzen in einer ER-Umgebung sind nicht für den Einsatz beim Katastrophenmanagement geeignet. Es wird deshalb eine neue Methode vorgestellt, mit der Geometrien in die physikalische Welt skizziert werden können und damit während des Einsatzes vor Ort Lageskizzen angefertigt werden können. Es wird gezeigt, wie diese dreidimensionalen Daten mit anderen Informationen in ein Gesamtkonzept zum Wissensmanagement bei Katastrophen integriert werden können. Ein ER-System für ausgedehnte Einsatzgebiete benötigt Sensoren, die für den gesamten Einsatzbereich Position und Orientierung liefern. Für diese Arbeit wird die Position durch ein GPS erfasst und die Orientierung mit einem Inertialnavigationssystem (INS) bestimmt. Die Verschmelzung der Bilder von physikalischer und virtueller Welt erfolgt mithilfe einer Durchsichtdatenbrille oder mithilfe von Bildern einer Videokamera, die mit computergenerierten Bildern überlagert werden. Neben dem mathematischen Modell ist es notwendig die stochastischen Eigenschaften der Komponenten zu kennen. Zur Bestimmung der Genauigkeit des INS wurde eine Methode entwickelt, die das Fehlerverhalten des INS abschätzen kann, ohne dass zusätzliche Geräte zur Bestimmung notwendig sind. Zur Abschätzung der Fehler wird ausgenutzt, dass sich der Sensor um eine feste Achse drehen muss, wenn er auf einer ebenen Oberfläche aufgesetzt und gedreht wird.Die Herausforderung der Kalibrierung der verwendeten Konfiguration besteht darin, dass das mathematische Modell durch nicht-lineare Gleichungssysteme beschrieben wird, die nicht in einem Schritt lösbar sind. Das Gleichungssystem des mathematischen Modells ist eine Erweiterung des Gleichungssystems einer Bündelblockausgleichung. Die Bündelblockausgleichung ist für den Fall der perspektiven Abbildung ein nicht-lineares Gleichungssystem. Da die Konvergenz von Lösungsverfahren für dieses Gleichungssystem von verschiedenen Faktoren abhängen, wie z. B. der Zahl der Unbekannten, der Konfiguration der Aufnahmen, der Wahl der Näherungswerte, werden in der Literatur mehrere verschiedene Lösungsstrategien für die Bündelblockausgleichung vorgeschlagen. Die in dieser Arbeit beschriebene Methode nutzt aus, dass die Konvergenz von der Struktur des mathematischen Modells abhängt. Zur Beschreibung von Strukturübergängen von einem mathematischen Modell in ein anderes wird eine neue Notation vorgeschlagen, die geeignet ist den gesamten Kalibriervorgang formal vollständig darzustellen. Es werden für alle Teilschritte und geschätzten Parameter die erreichbaren Genauigkeiten, die empirisch ermittelt wurden, angegeben. Damit das Gezeichnete in der bewegten Anzeige sichtbar gemacht werden kann, müssen die gemessenen Bildpunkte ständig der Bewegung nachgeführt und in neue Anzeigekoordinatensysteme transformiert werden. Gäbe es für die gemessenen Bildpunkte dreidimensionale Objektkoordinaten, dann wäre die Transformation leicht zu berechnen. Doch anfangs verfügt man lediglich über zweidimensionale Bildkoordinaten. In der Literatur findet man für diese Problemstellung keine Lösungen. Für diese Arbeit wurde deshalb eine Näherungsmethode entwickelt, mit der die Bildpunkte des gezeichneten Gesamtbildes der Bewegung des Benutzers nachgeführt werden können, ohne dass dreidimensionale Koordinaten bekannt sind. Zur Berechnung der dreidimensionalen Koordinaten des Gezeichneten muss die Skizze aus mehreren Perspektiven gezeichnet werden. Im Gegensatz zu vorhandenen Ansätzen können mit der Methode dieser Arbeit polygonale Skizzenelemente berührungsfrei aus der Distanz konstruiert werden. Beim Konstruieren von dreidimensionalen Skizzen werden Polygone im Objektraum beobachtet. Die gemessenen Punkte, die die Polygone beschreiben, liegen nicht mehr in einer Bildebene, da sich der Betrachter während des Skizzierens frei im Raum bewegen können soll. Von mindestens zwei verschiedenen Orten aus zeichnet man mit der Maus Polygonpunkte in die Anzeige. Jede im Bildraum abgetastete Kurve beschreibt eine andere räumliche Kurve im Objektraum. Dabei entsteht ein erster Fehler bei der Diskretisierung der Raumkurve durch die Wahl bestimmter Stützpunkte, die diese Kurve repräsentieren. Eine weitere Art von Fehlern entsteht durch fehlerbehaftete Sensormessungen und Fehler in den Bildpunktkoordinaten. Darüber hinaus wird jedoch ein weit größerer Fehler dadurch verursacht, dass der Zeichner sich nicht mehr genau an die Punkte erinnert, entlang derer er die Kurve skizziert hat, da kein Polygon, das in den physikalischen Raum gezeichnet wird, sich auf den gleichen physikalischen Ort bezieht. Es entstehen also mindestens zwei Bündel von Strahlen und jedes Strahlenbündel beschreibt eine Fläche, auf der eine Vielzahl von Polygonen liegen kann. Durch Minimierung von Polygondistanzen wird der Verlauf der beobachteten Polygone im physikalischen Raum festgelegt. Die vorgeschlagenen Verfahren werden an verschiedenen Beispielen geprüft. Die Ergebnisse der Tests werden diskutiert. Abschließend wird der weitere Entwicklungsbedarf aufgezeigt.Augmented Reality (AR) aims to fuse artificial and natural sensations to a consistent total perception. In doing so, the user should have the impression, that the virtual objects are part of the augmented physical world. In this augmented world the user can interact meaningfully with the perceived virtual objects. This work uses the AR-technology, in order to merge natural and artificial sensory information of the visual perception. AR can serve as medium, with which information is made available and can be exchanged at the right time, at the correct place and in the correct interrelation with the physical world. Though, this information can originate from existing data collections, whose objects have a spatial relation to the physical world, it happens frequently, that new information objects and maybe their geometry should be registered. AR is to help to communicate spatial data of defined meaning with oneself or others. The characteristic of communication using AR is that the information is taken at the same time both from physical world and from virtual world. The thesis proposes to use AR in the context of disaster management. AR can there be used to simplify the information exchange to coordinate the rescue measures after an disastrous event. To use AR efficiently for disaster management three-dimensional information is needed. It is therefore a new method developed to sketch virtual geometries directly into the physical world. These sketches can be used to create three-dimensional data to describe disaster relevant information on site. The generated information needs to be integrated in an overall information management strategy. It is shown how the geometric information is linked to a general data model that can be used for information management for rescue measures. The availability of information can be improved by AR since the information can be theoretically delivered exactly to the place where it is needed. However, this task can only be performed, if position and orientation of the user can be tracked over wide areas. To provide continuously position and orientation for regions of large extent adequate sensors are needed. In this study a combination of GPS and INS is used. The integration of these sensors requires special calibration techniques. To determine all calibration parameters, a new calibration strategy was developed. To describe the strategy several transformations on the structure of the mathematical model had to be applied. To describe the transformation of the structures, an adopted notation is given. Having calibrated the AR-System, the problem of creating sketches that are embedded into the physical world is approached. Sketches made on paper fulfil in general several functions. In some cases, it is additionally desired, that the sketched information can be viewed three dimensionally from different perspectives. Such sketches are called in this thesis ” three-dimensional sketches“ to point out, that these sketches do not only represent a three-dimensional object, but they are also represented them-selves in three dimensions.The third dimension is derived from sketches that are drawn from different perspectives. As long as the user is drawing, while no three-dimensional representation is available, a method is needed, that can approximately overlay the drawing with the correct location in the image plane, even if the image plane is moving continuously. In contrast to other methods described in literature the method given here enables one to create polygonal sketch elements from distance, without touching the physical location of the polygon. The approach takes into account that the users may draw sketches with different level of details and that they may make mistakes when drawing in perspective. The reconstructed curve has the same topology as the measured one. The described method is demonstrated by examples and the sensibility of the algorithm and the accuracy of the results are discussed. Finally, further developments, possible extensions and technical improvements are proposed