Study, design and implementation of a CMOS image sensor : implementation of analog operators in the focal plane for non-linear image processing

Les capteurs d'images en technologie CMOS se sont fortement développés grâce à l'avènement du multimédia à la fin des années 1990. Leurs caractéristiques optiques, ainsi que leur coût, les ont, en effet, destinés au marché “grand public”. Ces capteurs intègrent des fonctions analogiques et/ou numériques qui permettent la mise en œuvre de traitements au sein du pixel, autour du pixel, pour un groupe de pixels, en bout de colonne. Jusqu’à présent, les traitements intégrés dans le capteur sont de nature linéaire et consistent en général à réaliser des convolutions. Si ces traitements sont incontournables dans une chaîne de vision, ils sont toutefois limités et ne permettent pas à eux seuls de réaliser une application complexe du type reconnaissance d’objets dans une scène naturelle. Pour cela, des traitements non-linéaires associés à des classifieurs haut-niveau permettent de compléter les traitements linéaires en vue de répondre aux contraintes d’une application complexe. Dans ce contexte, nous montrons que les approches “mathématique-inspirées” et “neuro-inspirées” nécessitent toutes deux l'emploi de traitements non-linéaires basés sur les opérateurs "min" et "max". De ce fait, nous proposons un modèle architectural permettant d'intégrer dans le plan focal les traitements non-linéaires. Ce modèle est basé sur une topologie de PEs 4-connexes et présente un double avantage par rapport aux solutions classiques. D'une part pour ce qui concerne l'augmentation de la vitesse d'exécution des traitements non linéaires mais aussi pour les aspects de réduction de la consommation qui sont liés aux nombres d'accès aux mémoires externes dans le cas des systèmes numériques. Le circuit NLIP (Non Linear Image processing) qui a été conçu durant cette thèse comporte 64 x 64 pixels associés à 64 x 64 processeurs analogiques élémentaires. Chaque pixel a une taille de 40 m de côté et présente un facteur de remplissage de 18% ce qui garantit une bonne sensibilité. La fabrication du circuit a été réalisée en technologie CMOS 0.35 m et les tests fonctionnels réalisés ont permis de valider le modèle de rétine proposéCMOS images sensors have grown significantly since the late 1990s in connection with the huge developments of multimedia applications. Their optical characteristics, as well as their cost, have, in fact targeted for the consumer market. These sensors include analog and / or digital functions that allow the implementation of treatments within the pixel around the pixel, for a group of pixels in the end of column. Until now, processing inside the sensor.Until now, image processing inside the CMOS sensor are linear and based on convolutions. If these treatments are essential in a chain of vision, they are however limited and do not allow themselves to make a complex application like objects recognition in a natural scene. For this, non-linear associated with high-level classifiers can complete linear processing to meet the demands of a complex application. In this context, we show that “mathematically inspired” and “neuron-inspired” approaches both require the use of non-linear operators based on the “min” and “max” treatments. Therefore, we propose an architectural model for integrating non-linear processes in the focal plane. This model is based on a topology of “4-connected” PE and has two advantages over conventional solutions. Firstly with regard to increasing the speed of execution of nonlinear treatments but also aspects of reduced consumption are related to access to external memory in the case of digital based systems. The NLIP circuit (Non Linear Image Processing), which was designed during this thesis has 64 x 64 pixels associated with 64 x 64 elementary analog processors. Each pixel has a size of 40 m from the side and has a fill factor of 18%, which ensures a good sensitivity. The fabrication of the circuit was carried out in CMOS technology 0.35 m and functional tests were used to validate the proposed model retin