Online Estimation of Trifocal Tensors for Augmenting Live Video

We propose a method to augment live video based on the tracking of natural features, and the online estimation of the trinocular geometry. Previous without-marker approaches require the computation of camera pose to render virtual objects. The strength of our proposed method is that it doesn't require tracking of camera pose, and exploits the usual advantages of marker-based approaches for a fast implementation. A 3-view AR system is used to demonstrate our approach. It consists of an uncalibrated camera that moves freely inside the scene of interest, and of three reference frames taken at the time of system initialization. As the camera is moving, image features taken from an initial triplet set are tracked throughout the video sequence. And the trifocal tensor associated with each frame is estimated online. With this tensor, the square pattern that was visible in the reference frames is transferred to the video. This invisible pattern is then used by the ARToolkit to embed virtual objects.Nous proposons une m\ue9thode d'augmentation de la vid\ue9o directe, bas\ue9e sur le suivi de caract\ue9ristiques naturelles et l'estimation en direct de la g\ue9om\ue9trie trinoculaire. Les m\ue9thodes ant\ue9rieures sans marqueurs obligent \ue0 calculer la pose de la cam\ue9ra pour le rendu d'objets virtuels. Le point fort de notre m\ue9thode est qu'elle n'exige pas le suivi de la pose de la cam\ue9ra et exploite les avantages usuels des m\ue9thodes \ue0 marqueurs pour acc\ue9l\ue9rer la mise en oeuvre. Un syst\ue8me AR \ue0 trois vues est utilis\ue9 pour faire la d\ue9monstration de notre m\ue9thode. Il se compose d'une cam\ue9ra non \ue9talonn\ue9e qui se d\ue9place librement dans la zone d'int\ue9r\ueat, et de trois cadres de r\ue9f\ue9rence saisis lors de l'initialisation du syst\ue8me. Lors du d\ue9placement de la cam\ue9ra, les caract\ue9ristiques d'image saisies \ue0 partir d'un ensemble de triplets initial sont suivies pendant toute la dur\ue9e de la s\ue9quence vid\ue9o. De plus, le tenseur trifocal associ\ue9 \ue0 chaque cadre est estim\ue9 en direct. \uc0 l'aide de ce tenseur, le motif carr\ue9 qui \ue9tait visible dans les cadres de r\ue9f\ue9rence est transf\ue9r\ue9 \ue0 la vid\ue9o. Ce motif invisible est ensuite utilis\ue9 par l'ARToolkit pour incorporer des objets virtuels.NRC publication: Ye