Quality assessment of stereo matching algorithms for planetary surfaces

Stereo Vision ist ein weit verbreiteter Bereich der Computer Vision, welcher stetig weiter erforscht und entwickelt wird. Um eine 3D Szene von zwei oder mehreren Stereo Bildern zu rekonstruieren, kann Stereo Matching verwendet werden, welches die benötigten Disparity Maps berechnet. Die Forschung arbeitet intensiv an Stereo Matching Algorithmen und laufend werden dafür neue Algorithmen vorgeschlagen. Die Qualität des zu berechnenden Höhenmodells hängt stark von der Genauigkeit der Disparity Map ab, welche die Stereo Matching Algorithmen liefern. Dennoch sind Methoden zur Bewertung der Genauigkeit dieser Disparity Maps bislang wenig erforscht. In dieser Arbeit werden Maße zur Bewertung der Genauigkeit von Disparity Maps, welche in verschiedener Literatur vorgestellt wurden, aufgesammelt und aufgelistet. Methoden, welche auf einer Ground Truth basieren, genauso wie Methoden, die unabhängig von der Ground Truth sind, werden untersucht. Diese Maße werden an zwei Stereo Matching Algorithmen getestet, welchen verschiedene Datensätze mit verfügbarer Ground Truth zu Grunde liegen. Weiters wurden unterschiedliche Typen von bekannten Fehlern nachträglich in die Disparity Maps eingefügt um zu testen, welches Maß auf welchen Fehler mehr oder weniger reagiert. Die umfassenden Experimente zeigen, dass einige Maße auf Typen von Fehlern ansprechen, welche andere Maße komplett ignorieren. Die Stärken und Schwächen der untersuchten Maße werden dargelegt und es werden einige Maße zur Bewertung von Disparity Maps vorgeschlagen, welche zuverlässige und aussagekräftige Resultate für die Qualitätsanalyse liefern.Stereo vision is a wide spread and actively researched field of computer vision. In order to reconstruct a 3D scene from two or more stereo images stereo matching can be applied to compute the required disparity maps. Researchers are intensively working on stereo matching and new types of algorithms are proposed continuously that should serve this task. The quality of the resulting evaluation map is highly dependent on the accuracy of the disparity map that is output of stereo matching. Nevertheless, the methods to measure the performance of these algorithms in terms of accuracy are fewer investigated. In this work, disparity map evaluation measures presented in literature are collected and listed. Ground truth based methods as well as no-reference measures are studied. Additionally, they are tested on two stereo matching algorithms applied to different datasets with ground truth available. Moreover, different types of known errors were afterwards inserted into the disparity maps to find out how the measures behave on those types of errors. The intensive experiments show that some measures respond to types of errors that others completely ignore. The weaknesses as well as the advantages of the evaluated measures are explained and we give a suggestion of disparity map evaluation measures that provide a reliable and meaningful output for quality assessment.Barbara Fröhlich, BScZusammenfassungen in Deutsch und EnglischKarl-Franzens-Universität Graz, Masterarbeit, 2016(VLID)134054