Visual navigation and servoing for object manipulation with mobile robots

In the future, autonomous service robots are supposed to remove the burden of monotonic and tedious tasks like pickup and delivery from people. Vision being the most important human sensor and feedback system is considered to play a prominent role in the future of robotics. Robust techniques for visual robot navigation, object recognition and vision assisted object manipulation are essential in service robotics tasks. Mobile manipulation in service robotics applications requires the alignment of the end-effector with recognized objects of unknown pose. Image based visual servoing provides a means of model-free manipulation of objects solely relying on 2D image information. In this thesis contributions to the field of decoupled visual servoing for object manipulation as well as navigation are presented. A novel approach for large view visual servoing of mobile robots is presented by decoupling the gaze and navigation control via a virtual camera plane, which enables the visual controller to use the same natural landmarks efficiently over a large range of motion. In order to complete the repertoire of reactive visual behaviors an innovative door passing behavior and an obstacle avoidance behavior using omnivision are designed. The developed visual behaviors represent a significant step towards the visual navigation paradigm relying solely on visual perception. A novel approach for visual servoing based on augmented image features is presented, which has only four offdiagonal couplings between the visual moments and the degrees of motion. As the visual servoing relies on unique image features, object recognition and pose alignment of the manipulator rely on the same representation of the object. In many scenarios the features extracted in the reference pose are only perceivable across a limited region of the work space. This necessitates the introduction of additional intermediate reference views of the object and requires path planning in view space. In this thesis a model-free approach for optimal large view visual servoing by switching between reference views in order to minimize the time to convergence is presented. The efficiency and robustness of the proposed visual control schemes are evaluated in the virtual reality and on the real mobile platform as well as on two different manipulators. The experiments are performed successfully in different scenarios in realistic office environments without any prior structuring. Therefore this thesis presents a major contribution towards vision as the universal sensor for mobile manipulation.Autonome Serviceroboter sollen in Zukunft dem Menschen monotone und körperlich anstrengende Aufgaben abnehmen, indem sie beispielsweise Hol- und Bringedienste ausüben. Visuelle Wahrnehmung ist das wichtigste menschliche Sinnesorgan und Rückkopplungssystem und wird daher eine herausragende Rolle in zukünftigen Robotikanwendungen spielen. Robuste Verfahren für bildbasierte Navigation, Objekterkennung und Manipulation sind essentiell für Anwendungen in der Servicerobotik. Die mobile Manipulation in der Servicerobotik erfordert die Ausrichtung des Endeffektors zu erkannten Objekten in unbekannter Lage. Die bildbasierte Regelung ermöglicht eine modellfreie Objektmanipulation allein durch Berücksichtigung der zweidimensionalen Bildinformationen. Im Rahmen dieser Arbeit werden Beiträge zur entkoppelten bildbasierten Regelung sowohl für die Objektmanipulation als auch für die Navigation präsentiert. Ein neuartiger Ansatz für die bildbasierte Weitbereichsregelung mobiler Roboter wird vorgestellt. Hierbei werden die Blickrichtungs- und Navigationsregelung durch eine virtuelle Kameraebene entkoppelt, was es der bildbasierten Regelung ermöglicht, dieselben natürlichen Landmarken effizient über einen weiten Bewegungsbereich zu verwenden. Um das Repertoire der visuellen Verhalten zu vervollständigen, werden ein innovatives Türdurchfahrtsverhalten sowie ein Hindernisvermeidungsverhalten basierend auf omnidirektionaler Wahrnehmung entwickelt. Die entworfenen visuellen Verhalten stellen einen wichtigen Schritt in Richtung des Paradigmas der reinen visuellen Navigation dar. Ein neuartiger Ansatz basierend auf Bildmerkmalen mit einer erweiterten Anzahl von Attributen wird vorgestellt, der nach einer Entkopplung der Eingangsgrößen nur vier unerwünschte Kopplungen zwischen den Bildmomenten und den Bewegungsfreiheitsgraden aufweist. In vielen Anwendungsszenarien sind die extrahierten Referenzmerkmale nur in einem begrenzten Bereich des Arbeitsraums sichtbar. Dies erfordert die Einführung zusätzlicher Zwischenansichten des Objektes sowie eine Pfadplanung im zweidimensionalen Bildraum. In dieser Arbeit wird deswegen eine modellfreie Methodik für die zeitoptimale bildbasierte Weitbereichsregelung präsentiert, in der zwischen den einzelnen Referenzansichten umgeschaltet wird, um die Konvergenzzeit zu minimieren. Die Effizienz und Robustheit der vorgeschlagenen bildbasierten Regler werden sowohl in der virtuellen Realität als auch auf der realen mobilen Plattform sowie zwei unterschiedlichen Manipulatoren verifiziert. Die Experimente werden in unterschiedlichen Szenarien in alltäglichen Büroumgebungen ohne vorherige Strukturierung durchgeführt. Diese Arbeit stellt einen wichtigen Schritt hin zu visueller Wahrnehmung als einziger und universeller Sensor für die mobile Manipulation dar