Reconstruction d'interactions mains-objets durant la manipulation à partir d'images et de vidéos

Modeling hand-object manipulations is essential for understanding how humans interact with their environment. Recent efforts to recover 3D information from RGB images have been directed towards fully-supervised methods which require large amounts of labeled training samples. However, collecting 3D ground-truth data for hand-object interactions is costly, tedious, and error-prone. In this thesis, we propose several contributions to overcome this challenge.First, we propose a fully automatic method to generate synthetic data with hand-object interactions for training. We generate ObMan, a synthetic dataset with automatically generated labels, and use it to train a deep convolutional neural network to reconstruct the observed object and the hand pose from a single RGB frame. We present an end-to-end learnable model that exploits a novel contact loss to favor physically plausible hand-object constellations. We investigate the domain gap and validate that our synthesized training data allows our model to reconstruct hand-object interactions from real images, provided the captured grasps are similar to the ones in the synthetic images.While costly, curating annotations from real images allows to obtain samples from the distribution of natural hand-object interactions. Next, we investigate a strategy to make the most of manual annotation efforts: we propose to leverage the temporal context in videos when sparse annotations are available. In a learnable framework which jointly reconstructs hands and objects in 3D by inferring the poses of known models, we leverage photometric consistency across time. Given our estimated reconstructions, we differentiably render the optical flow between pairs of images and use it to warp one frame to another. We then apply a self-supervised photometric loss that relies on the visual consistency between nearby images. We display competitive results for 3D hand-object reconstruction benchmarks and demonstrate that our approach allows to improve the pose estimation accuracy by leveraging information from neighboring frames in low-data regimes.Finally, we explore automatic annotation of real RGB data by proposing a learning-free fitting approach for hand-object reconstruction. We rely on 2D cues obtained with common learnt methods for detection, hand pose estimation and instance segmentation and integrate hand-object interaction priors. We evaluate our approach and show that it can be applied to datasets with varying levels of complexity. Our method can seamlessly handle two-hand object interactions and can provide noisy pseudo-labels for learning-based approaches.In summary, our contributions are the following: (i) we generate synthetic data for hand-object grasps that allows training CNNs for joint hand-object reconstruction, (ii) we propose a strategy to leverage the temporal context in videos when sparse annotations are provided, (iii) we propose to recover hand-object interactions for short video clips by fitting models to noisy predictions from learnt models.Modéliser la manipulation d’objets est essentiel à la compréhension des interactions entre l’homme et son environnement. Les efforts pour reconstituer l’information 3D à partird’images RGB se sont récemment orientés vers les méthodes d’apprentissage supervisés,qui requièrent de nombreux exemples annotés durant l’entrainement. Cependant, la collecte d’annotations précises pour des images de manipulation est laborieuse, couteuse, etpropice aux erreurs. Cette thèse propose plusieurs contributions pour pallier ces difficultés.Premièrement, nous proposons une méthode pour générer automatiquement des données synthétiques d’interactions mains-objets. Nous générons un set de données synthétiques: ObMan, que nous utilisons pour entrainer un réseau de neurones convolutif profondpour la reconstruction 3D à partir d’une unique image RGB. Nous présentons une méthoded’apprentissage différentiable qui favorise des reconstructions physiquement plausibles àl’aide d’une nouvelle pénalisation. Nos données synthétiques permettent au modèle dereconstruire des interactions à partir d’images réelles, à condition que les configurationsobservées soient proches des manipulations représentées par les images synthétiques.Bien que coûteuse, l’annotation d’images réelles permet d’obtenir des exemples d’interactionsmains-objets qui surviennent naturellement lors de la manipulation. Nous proposons devaloriser des annotations obtenues manuellement en utilisant le contexte temporel pourdes vidéos annotées sporadiquement. Nous déployons une architecture différentiable quipermet de reconstruire les interactions 3D en estimant la pose de la main et d’un objetmanipulé dont le modèle est supposé connu, et proposons d’utiliser la consistance photométrique au cours du temps comme signal d’entrainement. Étant données nos prédictions, nous estimons le flux optique entre deux images à l’aide d’un rendu différentiable, etutilisons celui-ci pour transposer les déformations dues aux mouvement d’une des imagesvers l’autre. Nous appliquons ensuite une pénalité photométrique auto-supervisée basée surla cohérence visuelle entre images proches. Notre méthode produit des résultats compétitifs pour des jeux de données de référence en reconstruction main-objet. Nous démontronsque notre approche permet d’améliorer la précision de l’estimation de pose en mettant àprofit les informations des images voisines lorsque la densité d’annotation est faible.Enfin, nous étudions l’annotation automatique de données RGB réelles en proposantune approche d’optimisation sans apprentissage pour la reconstruction de manipulationsd’objets. Nous nous appuyons sur des prédictions produites par des modèles d’apprentissageétablis pour la détection, l’estimation de la pose de la main et la segmentation d’instance,et intégrons des heuristiques régulant les interactions mains-objets. Nous évaluons notreapproche et montrons qu’elle peut être appliquée à des vidéos présentant différents niveauxde complexité. Notre méthode peut modéliser les manipulations entre plusieurs mains etun objet et fournir des annotations bruitées pour des méthodes basées sur l’apprentissage.En résumé, nos contributions sont les suivantes : (i) nous générons des données synthétiques pour la saisie d’objets qui permettent d’entraîner des réseaux convolutif profondspour la reconstruction jointe d’une main et d’un objet, (ii) nous proposons une stratégiepour utiliser le contexte temporel des vidéos lorsque la densité temporelle d’annotation estfaible, (iii) nous proposons d’estimer les interactions main-objet pour de courts clips vidéoen mettant en correspondance les poses 3D de mains et d’objets avec les prédictions demodèles entrainés