3-D environment perception for semi-autonomous mobile robots

Die Servicerobotik hat in den letzten Jahren sowohl durch kostengünstige Sensorik und Aktorik als auch durch verbesserte Algorithmen einen großen Schritt nach vorne gemacht. Dabei hat sich gerade die Wahrnehmung als eine Schlüsseltechnologie für eine erfolgreiche Weiterentwicklung herauskristallisiert. Leistungsfähige 3-D-Kameras und effiziente Verfahren zur Sensordatenverarbeitung ermöglichen es Robotern, ihre Umwelt wahrzunehmen, zu interpretieren und darauf basierend Handlungen abzuleiten. Trotz dieser Fortschritte ist ein voll-autonomer Betrieb von mobilen Robotern in für Menschen gemachten Umgebungen mittelfristig nicht möglich. Ein Hauptgrund dafür ist die Vielzahl nicht vorhersehbarer Ausnahmefälle, mit denen ein Roboter in einem nur teilweise bekannten und dynamischen Umfeld konfrontiert wird. Diese Arbeit behandelt die Erfassung der Umwelt mit 3-D-Kameras im teil-autonomen Betrieb. Ziel ist es, ein Umgebungsmodell zu erzeugen, das sowohl für die autonomen Funktionen des Roboters wie Navigation oder Manipulation verwendet werden kann als auch eine Hilfe für einen menschlichen Teleoperator bietet. Dadurch stellen sich besondere Anforderungen an die verwendete Repräsentation. Diese muss sowohl vom Roboter als auch vom Bediener verstanden werden. Weiterhin ist die Umwandlung der Sensordaten in die Repräsentation durch ein geeignetes Verfahren ein Kernpunkt dieser Arbeit. Dieses Verfahren muss nicht nur ein Modell der Umwelt mit ausreichender Genauigkeit erzeugen, sondern auch eine entsprechende Verarbeitungsgeschwindigkeit für den Einsatz auf einem Roboter ermöglichen. Nach der Aufstellung von Anforderungen wird ein Verfahren zur \umerf konzipiert und umgesetzt. Dieses erzeugt ein hybrides Umgebungsmodell, bestehend aus einer Punkte- und einer Geometriekarte. Die Punktrepräsentation kann vom Roboter für die Hindernisvermeidung während Navigation und Manipulation verwendet werden, besitzt jedoch ein großes Datenvolumen und lässt sich schwer visualisieren. Deswegen werden aus den Sensordaten geometrische Primitive abgeleitet und in einer Geometriekarte gespeichert. Dies führt zu einer hohen Datenkompression ohne den Verlust wichtiger Information. Diese Repräsentation lässt sich gut zu einem menschlichen Bediener übertragen und dort anzeigen. Die Ableitung geometrischer Basisformen wie Ebenen oder Zylinder nimmt einen Großteil dieser Arbeit ein. Zunächst werden Filter für die von den 3-D-Kameras ausgegebenen Punktwolken betrachtet. Diese können Rauschen eliminieren oder die Dichte der Punktwolke beeinflussen. Im nächsten Schritt werden die Sensordaten in einem gemeinsamen Koordinatensystem registriert. Dies ist notwendig, da sowohl die Sensordaten als auch die Roboterposition mit Fehlern behaftet sind. Die registrierten Punktwolken werden im nächsten Schritt segmentiert. Hierbei kommt ein Verfahren zum Flächenwachstum auf Basis von Normalenvektoren zum Einsatz. Die entstehenden Segmente können anhand geometrischer Eigenschaften in Basisgeometrien klassifiziert werden. Diese werden abschließend in einer Geometriekarte vereint. Für alle Teilschritte erfolgt eine Evaluierung gegenüber Verfahren aus dem Stand der Technik hinsichtlich Genauigkeit und Rechengeschwindigkeit. Abschließend erfolgt die Validierung der Funktionsweise anhand typischer Innenraumszenen und die Veranschaulichung durch ein Anwendungsbeispiel.Due to affordable sensors and actuators as well as improved algorithms, service robotics has evolved greatly during recent years. Especially perception has been identified as a key technology towards successful commercialisation. Capable 3-D cameras and efficient methods for sensor data processing enable robots to perceive and understand its environment as well as plan their actions based on these results. Despite this progress, a fully autonomous operation of mobile robots in environments made for humans is still far from being robust and reliable. A major reason for that is the variety of unforeseen exceptional cases a robot can be confronted with in a partially unknown and dynamic environment. An approach to semi-autonomous robot operation can be a mid-term solution and bring service robots one step forward. In semi-autonomous mode, the robot accomplishes tasks autonomously as long as possible. In unexpected situation where autonomous operation fails, a human operator can take over control, solve the problem and hand back to the robot. Within this work 3-D environment perception for semi-autonomous mobile robots is addressed. The goal is to create an environment model from data of 3-D cameras that is usable both by the robot, mainly for navigation, manipulation and planning and by a human operator as support for tele-operation. This yields the ability for efficient data transfer over networks, easy visualization and intuitive interaction with the model. These specific requirements have to be met by the model representation. Furthermore, aggregation of the environment model from sensor data is a major topic of this thesis. Algorithms not only have to work with high accuracy but also need to be efficient with respect to computation speed in order to allow real-time applications. Based on the requirements, an approach for 3-D environment perception is developed. The method creates a hybrid environment model, consisting of a point and a geometric map. The point representation can be used by the robot for obstacle avoidance in navigation and manipulation. However, because of high data volume and poor visualization capabilities of point representations it is not suitable for a human operator. Thus, geometric primitives are derived from sensor data and stored in a geometric map. This leads to a high data compression without loss of important information. The geometric representation can be easily transferred to and visualized at the operator side. Computation of geometric primitives like planes or cylinders is a major part of this work. First, filters for point clouds coming from 3-D cameras are considered. These can be used for noise reduction or downsampling. An efficient general noise filter as well as a filter cascade for improved filtering is developed and evaluated on indoor scenes. In the next step, sensor data is registered to a common coordinate system during robot movement. This is mandatory as both the sensor data and the robot pose estimate are erroneous. Because state of the art does not meet the requirements of high computation speed as well as accuracy, a new approach based on edge features and fast data association is presented. Afterwards, the aligned point clouds are segmented using a normal-based region growing. The method proposed utilizes a graph structure to optimize the segments and prevent over-segmentation. The resulting segments are classified into geometric categories using 3-D point features. Finally, the segments are aggregated in a geometric map. For all computation steps, in-depth evaluation of accuracy and computation speed is conducted. The usability of the system is validated on typical indoor scenes and shown by an example scenario from the field of semi-autonomous operation