Towards dynamic mosaic generation with robustness to parallax effects

This thesis addresses the challenges of parallax and object motion in image mosaicing. Traditional techniques construct their panoramas through an image registration process that minimizes the differences in intensity or structure in the overlapping areas between inputs. In order to reduce the artifacts due to misregistrations caused by parallax and object motion, traditional approaches require planar content or impose the constraint that inputs be provided either by a purely rotational camera or from dense sampling of the scene. However, these solutions are often impractical or fail to address the needs of all applications.\newline\indent In this thesis, we present three novel mosaicing approaches that use depth information to compensate for the above limitations. The first approach starts by synthesizing a dense set of virtual images at positions between the source cameras. Next, an appearance-based optimization procedure is applied to select a group of strips from the collection of virtual images and the real inputs to construct the final mosaic. The virtual dense sampling greatly reduces parallax effects between the real input frames, and thus results in significantly improved mosaic outputs compared to traditional image mosaicing algorithms.\newline\indent The second approach formulates the image mosaicing as a view synthesis problem. It renders the panorama as a single frame using depth estimates from the view point of a virtual mosaicing camera. It notably includes the contents in non-overlapping regions between sources by using a depth propagation procedure. Provided that the depth values are reasonable, the output mosaic result is perceptually satisfactory andCette th\`ese traite du probl\`eme de surmonter les difficult\'es caus\'ees par l'effet de parallaxe et le mouvement d'objets lors du mosaicage d'images. Les m\'ethodes traditionnelles de mosaicage d'images produisent des panoramas en recalant des images de mani\`ere \`a minimiser les diff\'erences d'intensit\'e ou de structure entre les r\'egions superpos\'ees de ces images. Afin de r\'eduire les d\'efauts occasionn\'es par un mauvais recalage r\'esultant de l'effet de parallaxe ou des mouvements d'objets, les m\'ethodes traditionnelles requi\`erent soit une sc\`ene planaire, soit des images r\'esultant d'une simple rotation d'une camera, soit encore un \'echantillonnage dense de la sc\`ene. Toutefois, ces solutions sont souvent impraticables ou ne satisfont pas les besoins de certaines applications. \newline\indent Dans cette th\`ese, nous pr\'esentons trois nouvelles approches de mosaicage d'imagesF utilisant l'information de profondeur afin de surmonter les limites \'enonc\'ees ci-haut. La premi\`ere approche utilise l'\'echantillonnage dense virtuel afin de r\'eduire l'effet de parallaxe entre les images acquises, ce qui r\'esulte en une nette am\'elioration de la qualit\'e des panoramas par rapport \`a ceux obtenus avec les techniques traditionnelles.\newline\indent La deuxi\`eme approche construit le panorama correspondant \`a une position virtuelle de la cam\'era en utilisant des estimations de profondeur. Lorsque ces valeurs sont raisonnables, le r\'esultat devrait \^etre satisfaisant visuellement et libre de tout d\'efaut reli\'e \`a l'effet de parallaxe.\newline\indent La troisi\`eme approche fait passer le mosaicage d'images de la synth\`ese