Accurate Measurements with Off-the-Shelf Range Cameras

Distance cameras have gained large popularity in the last years. With more than 24 million Microsoft Kinect units sold and the proliferation of 3-D sensors for biometric authentication, these cameras have reached the mass market. Distance cameras capture an image in which each pixel encodes the distance to its corresponding point in the scene. This opens up new application possibilities which are difficult or even impossible to implement with normal gray-level or color cameras. These new applications are particular useful if they can be implemented with low-cost consumer 3-D cameras. However, this is problematic as these sensors have only limited accuracy compared to professional measurement systems and are thus not yet sufficient for many applications. In this thesis, several aspects that affect the accuracy of time-of-flight and structured light cameras are discussed. The calibration of cameras, i. e. the calculation of an exact camera model, is of major importance. The estimation of these models requires point correspondences between the scene and the camera image. Whenever high accuracy is required, it is recommended to use calibration patterns such as checkerboards. This thesis introduces two methods, which find checkerboards more reliably and accurately than existing algorithms. The evaluation of the measurement errors of distance cameras requires reference values that are considerably more accurate than those of the camera. This thesis presents a method that allows using a terrestrial laser scanner to acquire such data. However, before the reference data can be used for error analysis, it is necessary to transform the measurements of both sensors into a common coordinate system. For this purpose, an automatic method was developed that reliably calculates the unknown transformation based on a single calibration scene. The accuracy of this approach is confirmed in several experiments and clearly exceeds the accuracy of the competing state-of-the-art method. In addition, it is possible to generate reference distance images with this method, which can subsequently be used for the evaluation of distance cameras. Time-of-flight (ToF) cameras have some error sources that are characteristic for this measurement principle. In order to be able to better compensate for these errors, it is first necessary to investigate the nature of these errors. This thesis also presents a comprehensive, standardized evaluation of the systematic errors of ToF cameras. For this purpose, six experiments are defined, which are subsequently carried out with eight ToF cameras. The evaluation of these experiments shows that the characteristic errors are differently pronounced with the investigated cameras, but nonetheless, can be observed even with the most recent models. Finally, a new calibration method for structured-light sensors is proposed, as well as an algorithm which refines parametric models of objects. The calibration method allows calculating a complete sensor model based on two or more images, even if the projected pattern is unknown. This is particularly necessary if the sensor does not use a regular projector but emits the pattern with a diffractive optical element. This part of the thesis also presents a novel refinement method for parametric models that uses the developed camera model. The evaluation results show that the proposed method computes more accurate model parameters than state-of-the-art fitting algorithms.Distanzkameras haben in den letzten Jahren eine rasante Verbreitung erfahren. Mit mehr als 24 Millionen verkauften Einheiten der Microsoft Kinect und der immer weiteren Verwendung von 3-D Sensoren zur biometrischen Authentifizierung sind diese Kameras im Massenmarkt angekommen. Distanzkameras erzeugen ein Bild, in dem jeder Pixel die Distanz des korrespondierenden Punkts in der Szene codiert. Dadurch ergeben sich neue Anwendungsmöglichkeiten, welche mit normalen Grauwert- oder Farbkameras nur schwer oder gar unmöglich zu realisieren sind. Diese neuen Anwendungen sind vor allem dann attraktiv, wenn sie mit preiswerten, serienmäßig produzierten 3-D Kameras umgesetzt werden können. Bisher ist dies jedoch problematisch, da diese Sensoren im Vergleich zu professionellen Messsystemen nur über eine begrenzte Genauigkeit verfügen. In dieser Arbeit werden mehrere Aspekte, welche die Genauigkeit von Time-of-Flight Kameras und Structured-Light Kameras beeinflussen, diskutiert. Die Kalibrierung von Kameras, das heiß t die Berechnung eines genauen Kameramodells, ist dabei von zentraler Bedeutung. Die Berechnung dieser Parameter erfordert Punktkorrespondenzen zwischen einer Szene und dem Kamerabild. Bei besonders hohen Ansprüchen an die Genauigkeit der Kameraparameter ist die Verwendung von Kalibriermustern, wie z.B. Schachbrettern, sinnvoll. In dieser Arbeit werden zwei Methoden vorgestellt, welche Schachbretter zuverlässiger und genauer als bisher existierende Algorithmen finden. Zur Untersuchung der Messfehler von Distanzkameras sind vergleichsweise wesentlich genauere Referenzwerte notwendig. Diese Arbeit präsentiert eine neue Methode mit der Referenzwerte mit einem Laserscanner gemessen werden können. Um die Laserscannerdaten jedoch zur Fehleranalyse verwenden zu können ist es notwendig die Messungen beider Sensoren in ein gemeinsames Koordinatensystem zu transformieren. Hierfür wurde eine automatische Methode entwickelt, welche die Transformation auf Basis einer einzigen Kalibrierszene berechnet. Die Genauigkeit des Ansatzes wird in mehreren Experimenten bestätigt und übersteigt die Genauigkeit der Vergleichsmethode deutlich. Darüber hinaus können mit dieser Methode Referenzbilder zur Analyse von Distanzkameras erzeugt werden. Time-of-Flight Kameras haben einige, für dieses Messprinzip charakteristische, Messfehler. Um diese besser kompensieren zu können ist es notwendig die Art dieser Fehler zunächst genau zu untersuchen. Diese Arbeit enthält die bisher umfassendste, standardisierte Analyse der systematischen Messfehler von Time-of-Flight Kameras. Hierfür werden zunächst sechs Experimente definiert, welche nachfolgend mit acht Time-of-Flight Kameras durchgeführt werden. Die Auswertung dieser Experimente zeigt, dass die charakteristischen Fehler bei den untersuchten Kameras verschieden stark ausgeprägt sind, selbst jedoch bei den neusten Modellen zu beobachten sind. Zuletzt wird eine neue Kalibriermethode für Structured-Light Kameras vorgestellt, sowie ein Algorithmus, welcher mithilfe des Sensormodells Objekte in der Szene genau detektiert. Die Kalibriermethode erlaubt es, auf Basis von zwei oder mehr Bildern, ein komplettes Sensormodell zu berechnen, selbst dann, wenn das projizierte Muster unbekannt ist. Dies ist vor allem dann notwendig, wenn der Sensor keinen regulären Projektor verwendet, sondern das Muster mittels eines diffraktiven optischen Elements ausstrahlt. Neben der Kalibrierung der Sensoren stellt diese Arbeit auch ein neuartiges Verfahren vor, welches eine genauere Bestimmung von Modellparametern von Objekten in der Szene erlaubt als es mit den bisher etablierten Methoden möglich ist