Image descriptors for road computer vision systems in adverse weather conditions and hydrometeors caracterisation

Les systèmes de vision artificielle sont de plus en plus présents en contexte routier. Ils sont installés sur l'infrastructure, pour la gestion du trafic, ou placés à l'intérieur du véhicule, pour proposer des aides à la conduite. Dans les deux cas, les systèmes de vision artificielle visent à augmenter la sécurité et à optimiser les déplacements. Une revue bibliographique retrace les origines et le développement des algorithmes de vision artificielle en contexte routier. Elle permet de démontrer l'importance des descripteurs d'images dans la chaîne de traitement des algorithmes. Elle se poursuit par une revue des descripteurs d'images avec une nouvelle approche source de nombreuses analyses, en les considérant en parallèle des applications finales. En conclusion, la revue bibliographique permet de déterminer quels sont les descripteurs d'images les plus représentatifs en contexte routier. Plusieurs bases de données contenant des images et les données météorologiques associées (ex : pluie, brouillard) sont ensuite présentées. Ces bases de données sont innovantes car l'acquisition des images et la mesure des conditions météorologiques sont effectuées en même temps et au même endroit. De plus, des capteurs météorologiques calibrés sont utilisés. Chaque base de données contient différentes scènes (ex: cible noir et blanc, piéton) et divers types de conditions météorologiques (ex: pluie, brouillard, jour, nuit). Les bases de données contiennent des conditions météorologiques naturelles, reproduites artificiellement et simulées numériquement. Sept descripteurs d'images parmi les plus représentatifs du contexte routier ont ensuite été sélectionnés et leur robustesse en conditions de pluie évaluée. Les descripteurs d'images basés sur l'intensité des pixels ou les contours verticaux sont sensibles à la pluie. A l'inverse, le descripteur de Harris et les descripteurs qui combinent différentes orientations sont robustes pour des intensités de pluie de 0 à 30 mm/h. La robustesse des descripteurs d'images en conditions de pluie diminue lorsque l'intensité de pluie augmente. Finalement, les descripteurs les plus sensibles à la pluie peuvent potentiellement être utilisés pour des applications de détection de la pluie par caméra.Le comportement d'un descripteur d'images en conditions météorologiques dégradées n'est pas forcément relié à celui de la fonction finale associée. Pour cela, deux détecteurs de piéton ont été évalués en conditions météorologiques dégradées (pluie, brouillard, jour, nuit). La nuit et le brouillard sont les conditions qui ont l'impact le plus important sur la détection des piétons. La méthodologie développée et la base de données associée peuvent être utilisées à nouveau pour évaluer d'autres fonctions finales (ex: détection de véhicule, détection de signalisation verticale).En contexte routier, connaitre les conditions météorologiques locales en temps réel est essentiel pour répondre aux deux enjeux que sont l'amélioration de la sécurité et l'optimisation des déplacements. Actuellement, le seul moyen de mesurer ces conditions le long des réseaux est l'installation de stations météorologiques. Ces stations sont coûteuses et nécessitent une maintenance particulière. Cependant, de nombreuses caméras sont déjà présentes sur le bord des routes. Une nouvelle méthode de détection des conditions météorologiques utilisant les caméras de surveillance du trafic est donc proposée. Cette méthode utilise des descripteurs d'images et un réseau de neurones. Elle répond à un ensemble de contraintes clairement établies afin de pouvoir détecter l'ensemble des conditions météorologiques en temps réel, mais aussi de pourvoir proposer plusieurs niveaux d'intensité. La méthode proposée permet de détecter les conditions normales de jour, de nuit, la pluie et le brouillard. Après plusieurs phases d'optimisation, la méthode proposée obtient de meilleurs résultats que ceux obtenus dans la littérature, pour des algorithmes comparables.Computer vision systems are increasingly being used on roads. They can be installed along infrastructure for traffic monitoring purposes. When mounted in vehicles, they perform driver assistance functions. In both cases, computer vision systems enhance road safety and streamline travel.A literature review starts by retracing the introduction and rollout of computer vision algorithms in road environments, and goes on to demonstrate the importance of image descriptors in the processing chains implemented in such algorithms. It continues with a review of image descriptors from a novel approach, considering them in parallel with final applications, which opens up numerous analytical angles. Finally the literature review makes it possible to assess which descriptors are the most representative in road environments.Several databases containing images and associated meteorological data (e.g. rain, fog) are then presented. These databases are completely original because image acquisition and weather condition measurement are at the same location and the same time. Moreover, calibrated meteorological sensors are used. Each database contains different scenes (e.g. black and white target, pedestrian) and different kind of weather (i.e. rain, fog, daytime, night-time). Databases contain digitally simulated, artificial and natural weather conditions.Seven of the most representative image descriptors in road context are then selected and their robustness in rainy conditions is evaluated. Image descriptors based on pixel intensity and those that use vertical edges are sensitive to rainy conditions. Conversely, the Harris feature and features that combine different edge orientations remain robust for rainfall rates ranging in 0 – 30 mm/h. The robustness of image features in rainy conditions decreases as the rainfall rate increases. Finally, the image descriptors most sensitive to rain have potential for use in a camera-based rain classification application.The image descriptor behaviour in adverse weather conditions is not necessarily related to the associated final function one. Thus, two pedestrian detectors were assessed in degraded weather conditions (rain, fog, daytime, night-time). Night-time and fog are the conditions that have the greatest impact on pedestrian detection. The methodology developed and associated database could be reused to assess others final functions (e.g. vehicle detection, traffic sign detection).In road environments, real-time knowledge of local weather conditions is an essential prerequisite for addressing the twin challenges of enhancing road safety and streamlining travel. Currently, the only mean of quantifying weather conditions along a road network requires the installation of meteorological stations. Such stations are costly and must be maintained; however, large numbers of cameras are already installed on the roadside. A new method that uses road traffic cameras to detect weather conditions has therefore been proposed. This method uses a combination of a neural network and image descriptors applied to image patches. It addresses a clearly defined set of constraints relating to the ability to operate in real-time and to classify the full spectrum of meteorological conditions and grades them according to their intensity. The method differentiates between normal daytime, rain, fog and normal night-time weather conditions. After several optimisation steps, the proposed method obtains better results than the ones reported in the literature for comparable algorithms