Semi-automatic 3D Reconstruction of Occluded and Unmarked Surfaces from Widely Separated Views

Three-dimensional modeling from images, when carried out entirely by a human, is time consuming and impractical for large-scale projects. On the other hand, full automation may still be unachievable for many applications. In addition, 3D modeling from images requires the extraction of features and needs them to appear in multiple images. However, in practical situations those features are not always available, sometimes not even in a single image, due to occlusions or lack of texture. Taking closely separated images or optimally designing view locations can preclude some occlusions. However, taking such images is often not practical and we are usually left with images that do not properly cover every detail. This paper argues that widely separated views and a semi-automated technique are the logical solutions to 3D construction of large and complex objects or environments. The proposed approach uses both interactive and automatic techniques, each where it is best suited, to accurately and completely model man-made structures and objects. It particularly focuses on automating the construction of unmarked surfaces such as columns, arches, steps and blocks from minimum seed points. It also extracts the occluded or invisible corners and lines from existing ones. Many examples, such as Arc de Triomphe in Paris and Florence's St. John baptistery, are completely modeled from a small number of images taken by tourists.La mod\ue9lisation tridimensionnelle \ue0 partir d'images, lorsqu'elle est effectu\ue9e enti\ue8rement par un humain, peut prendre beaucoup de temps et s'av\ue9rer impraticable pour des projets \ue0 grande \ue9chelle. D'autre part, l'automatisation compl\ue8te peut demeurer impossible \ue0 r\ue9aliser pour de nombreuses applications. En outre, la mod\ue9lisation tridimensionnelle \ue0 partir d'images n\ue9cessite l'extraction de d\ue9tails qui doivent appara\ueetre dans des images multiples. Toutefois, en pratique, ces d\ue9tails ne sont pas toujours disponibles, parfois m\ueame pas dans une seule image, parce qu'ils sont masqu\ue9s ou en raison de la texture de leur surface qui les rend difficiles \ue0 voir. En prenant des images \ue9troitement rapproch\ue9es l'une de l'autre ou en concevant de fa\ue7on optimale l'emplacement des vues, on peut \ue9viter d'occulter certains d\ue9tails. Toutefois, la prise de telles images s'av\ue8re souvent difficile en pratique, et les images obtenues ne couvrent habituellement pas de fa\ue7on satisfaisante tous les d\ue9tails. Le pr\ue9sent document soutient que des vues largement s\ue9par\ue9es et une technique semi-automatis\ue9e sont les solutions logiques \ue0 adopter pour la construction 3D d'objets et d'environnements complexes et de grande taille. L'approche propos\ue9e fait appel \ue0 la fois \ue0 des techniques interactives et \ue0 des techniques automatiques, chacune l\ue0 o\uf9 elle est le mieux adapt\ue9e, afin de mod\ue9liser de fa\ue7on compl\ue8te et exacte des structures et des objets fabriqu\ue9s par l'homme. Elle est plus particuli\ue8rement ax\ue9e sur l'automatisation de la construction des surfaces non marqu\ue9es comme les colonnes, les arches et les blocs, \ue0 partir d'un minimum de rep\ue8res. Elle permet \ue9galement d'extraire les angles occult\ue9s ou masqu\ue9s, \ue0 partir des angles visibles. De nombreux exemples, notamment l'Arc de Triomphe \ue0 Paris et le baptist\ue8re de Saint-Jean \ue0 Florence, sont compl\ue8tement mod\ue9lis\ue9s \ue0 partir d'un petit nombre d'images prises par des touristes.NRC publication: Ye