Vers un système de vision artificielle opportuniste pour l'analyse de scènes complexes à partirde caméras embarquées

The thesis intends to develop thebricks of an opportunistic vision system fordynamic scene analysis, an opportunistic systemthat would be guided by the applicative task, thatwould benefit from any knowledge and priorismade available by the application, and takeprofit of all available cues (color, texture,geometry) depending on their quality andrelevance. The context of color monocularvision is considered, with a camera embeddedon a mobile platform. A dense optical flowtechnique is first proposed. After a roughestimation, a reliability map is computed and isused for refining the motion map, through aniterative propagation process constrained bylocal information, starting by the color cues.This motion map is then analyzed for rough andfast plane segmentation. A cumulative approachcalled uv-velocity has been developed. It allowsthe fast exhibition of prominent planar surfacesunder certain assumption related the egomotion.Contrary to its predecessor, the socalledc-velocity, it allows a more progressivevoting strategy, it avoids using sampling, it isnot limited to translations of the camera and candetect a wider range of surfaces..The motion models related to each surface canthen be re-injected as a constraint in theestimation of the next optical flow. The raw andfast planar segmentation produced by uvvelocitycan be used to fasten the estimationvisual odometry.The results of optical flow estimation remainacceptable in terms of precision and executiontime (tested on Middleburry dataset) which canbe the input for creating the voting space todetect the planes on image. After the simulationsand real experiments on KITTI dataset, uvvelocityshows its potential to be the polyvalentimage registration on plane detection andopportunistic alert for the system.L'objectif de ces travaux de thèseconsiste à proposer un système de vision pourl’analyse de scènes dynamiques dit «opportuniste » En ce sens, il est orienté vers unetâche applicative précise et profite desconnaissances à priori fournies par l’applicationainsi que des indices disponibles provenant de lascène perçue (couleur, texture, géométrie) selonleur pertinence.Cette thèse propose de pousser jusqu’au bout lavision monoculaire basée sur l’analyse d’imagesissues d’une caméra embarquée sur un véhiculemobile. Dans un premier temps est proposée unenouvelle méthode d’estimation du flot optique,information directement estimable à partir d’uneséquence d’images. L’approche se base sur lagénération d’une carte de fiabilité pour raffinerle flot optique à travers un processus itératifprofitant d’informations disponibles telles que lacouleur. La carte de mouvement ainsi obtenue estensuite exploitée pour une détection rapide desplans 3D principaux. Pour cela, une approchecumulative, appelée uv-velocité, exploitant lespropriétés géométriques du champ des vecteursde mouvement, est développée. Elle permet dedétecter les surfaces planaires en partantd’hypothèses concernant la nature de l’egomouvement.Contrairement à l’approche déjàexistante c-velocité, la méthode proposée permetune stratégie de vote plus progressive qui prenden compte plus de modèles d‘ego-mouvement etplus de modèles de surfaces planairesLe modèle de mouvement de chaque surfacedétectée est réintégré à la méthode d’estimationdu flot optique qui devient une méthoded’optimisation sous contrainte de validité dumodèle planaire afin d’améliorer la précision del’estimation du flot optique. Par ailleurs, nousmontrons dans cette thèse comment un processusd’odométrie visuelle peut tirer profit de laméthode de détection de surfaces planaires.L’approche d’estimation du flot optique estévaluée en termes de précision et de tempsd’exécution sur la base de données Middlebury.En ce qui concerne la uv-velocité, la validationest faite aussi bien sur des flots simulés que surdes images de la base de données de KITTI