Optimized Distance Measurement with 3D-CMOS Image Sensor and Real Time Processing of the 3D Data for Applications in Automotive and Safety Engineering

This thesis describes and characterizes an advanced range camera for the distance range from 2 m to 25 m and novel real-time 3D image processing algorithms for object detection, tracking and classification on the basis of the three-dimensional features of the camera output data. The technology is based on a 64x8 pixel array CMOS image sensor which is capable of capturing three-dimensional images. This is accomplished by executing indirect time of flight measurement of NIR laser pulses emitted by the camera and reflected by the objects in the field of view of the camera. An analytic description of the measurement signals and a derivation of the distance measuring algorithms are conducted in this thesis as well as a comparative examination of the distance measuring algorithms by calculation, simulation and experiments; in doing so, the MDSI3 algorithm showed the best results over the whole measurement range and is thus chosen as standard method of the distance measuring system. A camera prototype was developed with a measurement accuracy in the centimeter range at an image repetition rate up to 100 Hz; a detailed evaluation of the components and of the over-all system is presented. Main aspects are the characterization of the time critical measurement signals, of the system noise, and of the distance measuring capabilities. Furthermore this thesis introduces novel real-time image processing of the output data stream of the camera aiming at the detection of objects being located in the observed area and the derivation of reliable position, speed and acceleration estimates. The used segmentation algorithm utilizes all three spatial dimensions of the position information as well as the intensity values and thus yields significant improvement compared to segmentation in conventional 2D images. Position, velocity, and acceleration values of the segmented objects are estimated by means of Kalman filtering in 3D space. The filter is dynamically adapted to the measurement properties of the according object to take care of changes of the data properties. The good performance of the image processing algorithms is presented by means of example scenes.Optimierte Entfernungsmessung mit 3D-CMOS Bildsensor und Echtzeit-Verarbeitung der 3D-Daten für Anwendungen in der Automobil- und Sicherheitstechnik Diese Arbeit beschreibt und charakterisiert eine neu entwickelte Entfernungskamera für Reichweiten von 2 m bis 25 m und spezielle 3D-Echtzeit-Bildverarbeitungsalgorithmen zum Detektieren, Tracken und Klassifizieren von Objekten auf der Grundlage der dreidimensionalen Kameradaten. Die Technologie basiert auf einem 64x8 Pixel CMOS Bildsensor, welcher im Stande ist, dreidimensionale Szenen zu erfassen. Dies wird mittels indirekter Laufzeitmessung von NIR Laserpulsen, die von der Kamera ausgesandt und an Objekten im Blickfeld der Kamera reflektiert werden, realisiert. Eine analytische Beschreibung der Messsignale und eine darauf aufbauende Herleitung der verschiedenartigen Entfernungsmessungsalgorithmen wird in dieser Arbeit ebenso durchgefhrt, wie die vergleichende Betrachtung der Entfernungsmessungsalgorithmen durch Rechnung, Simulation und Experimente; dabei zeigt der MDSI3-Algorithmus die besten Ergebnisse über den gesamten Messbereich, und wird deshalb zum Standardalgorithmus des Entfernungsmesssystems. Ein Kameraprototyp mit Messgenauigkeiten im cm-Bereich bei einer Bildwiederholrate bis zu 100 Hz wurde entwickelt; eine detaillierte Evaluierung der Komponenten und des Systems ist hier beschrieben. Hauptaspekte sind dabei die Charakterisierung der zeitkritischen Messsignale, des Systemrauschens und der Entfernungsmesseigenschaften. Desweiteren wird in dieser Arbeit die neu entwickelte Echtzeit-Bildverarbeitung des Kameradatenstroms vorgestellt, die auf die Detektion von Objekten im Beobachtungsbereich und die verlässliche Ermittlung von Positions-,Geschwindigkeits- und Beschleunigungsschtzwerten abzielt. Der dabei verwendete Segmentierungsalgorithmus nutzt alle drei Dimensionen der Positionsmesswerte kombiniert mit den Intensitätswerten der Messsignale, und liefert so eine signifikante Verbesserung im Vergleich zur Segmentierung in konventionellen 2D Bildern. Position, Geschwindigkeit und Beschleunigung werden mit Hilfe eines Kalman-Filters im 3-dimensionalen Raum geschätzt. Das Filter passt sich dynamisch den Messbedingungen des jeweils gemessenen Objekts an, und berücksichtigt so Veränderungen der Dateneigenschaften. Die Leistungsfähigkeit der Bildverarbeitungsalgorithmen wird anhand von Beispielszenen demonstriert