Deep learning methods for the estimation of meteorological parameters from webcam images. Application for the characterization of snow events in lowlands

La surveillance des conditions météorologiques répond à des enjeux importants en matière de sécurité civile. Aujourd’hui, le réseau de capteurs spécifiques est insuffisant pour bien observer des phénomènes à enjeu difficiles à prévoir et souvent très localisés comme la neige en plaine et le brouillard.D’un autre côté, les webcams, très nombreuses sur le territoire, enregistrent ces phénomènes. Leurs images contiennent une information complémentaire valorisable et qualifiée d’ « opportuniste ».L’extraction automatique de ces informations opportunistes présente donc un fort intérêt. Mais tirer de l’information pertinente à partir de scènes et de caméras très variées représente un défi au plan méthodologique.L’objectif principal de cette thèse était d’explorer des méthodes d’extraction par apprentissage qui soient applicables au suivi d’épisodes de neige en plaine. Trois paramètres ont été ciblés en particulier: la surface couverte par la neige, la profondeur de la couche de neige et la visibilité.La construction de jeux de données, éléments clefs des approches par apprentissage, a constitué une part importante du travail. Nous avons commencé par rassembler des séquences d’images webcam très diverses qui contiennent des épisodes de neige. Faute de pouvoir associer ces séquences avec des mesures météorologiques fiables, nous avons développé une méthode d’annotation semi-automatique pour construire nos jeux d’apprentissage. La méthode comporte plusieurs étapes. La première étape, manuelle, a permis de définir des problèmes de classification du temps sensible. La seconde étape repose sur un algorithme de tri fusion adapté à la comparaison d’images par paires. Avec cet algorithme, un grand nombre de paires d’images ont été comparées par rapport à chacun des trois paramètres d’intérêt. Ces paires comparées nous ont permis de définir des problèmes d’estimation relative.Nous avons évalué plusieurs méthodes de classification et d’estimation relative. Les réseaux de neurones profonds se sont montrés plus efficaces que les autres méthodes testées. Nous avons par la suite cherché à améliorer nos scores sur le problème d’estimation relative de façon à caractériser les phénomènes d’intérêt avec le plus de précision possible. Cela nous a conduit a développer des stratégies d’apprentissage spécifiques à des fonctions de rang implémentées sur des réseaux de neurones profonds.Nous avons d’abord montré qu’il était possible d’exploiter les images non-annotées pour améliorer les performances des fonctions de rang. Ces dernières ont aussi été adaptées à la prise en compte des paires d’images jugées incomparables pendant la deuxième étape de l’annotation. Nous introduisons des fonctions de rang “bivaluées” qui associent un intervalle à chaque image. Elles sont entraînées à restituer la relation d’incomparabilité à travers le chevauchement des intervalles prédits. Nous abordons ensuite le problème de l’étalonnage des fonctions de rang de façon à produire un intervalle de valeurs de visibilité plausibles pour une image donnée.Un travail analogue a été réalisé sur les paramètres relatifs à la neige.Pour évaluer l’intérêt de ces méthodes au plan opérationnel, elles ont été portées sur une cinquantaine de webcams françaises au cours des mois d’hiver 2020-2021.Civil security services highly depend on weather monitoring. Nowadays, high-stack events as settling snow in lowlands still partially escape to the dedicated sensors of our observation networks. On the other hand, these phenomena may be captured by simple webcams, which are ubiquitous. Webcam images may actually contain valuable meteorological data.The automatic extraction of such opportunistic data would be of great interest. However, the extraction of fine-grained information about the weather conditions is still a challenging task.The main goal of this work was to explore deep learning approaches in order to characterize snow events in lowlands. In particular, three parameters are targeted: the extent of the snow layer, its depth and the horizontal visibility, which varies with the snowfall rate.A first part of the work was devoted to the building of suitable data sets, which are keystones of the deep learning approaches. More than 5,000 webcam sequences around snow events were gathered. As it was not possible to associate these images with reliable measurements, a subset of ca. 500 sequences were labeled through an original semi-automatic approach. The first labeling step consisted in a handcrafted classification. The second step involves a specific sorting algorithm which was developed on purpose. This algorithm allowed to compare a large number of paired images with respect to each of the three parameters of interest.On these data sets, we compared several methods of classification and relative estimation [3,4]. Off-the-shelf deep neural networks performed better than the other tested methods. We sought to improve performance on the relative estimation problem in order to characterize the weather with the finest possible resolution. It led us to develop specific deep learning strategies for ranking functions.We first showed that unlabeled webcam images could be used to improve generalization performance of ranking functions. The latter were also adapted to take into account paired images that were considered as incomparable during the second labeling step.Regarding the visibility, ranking functions were calibrated in order to provide image-wise intervals of possible values. A similar work was conducted on to characterize the snow settling.An observation campaign was realized over fifty french webcams during several months of the 2020-2021 winter to assess these approaches in an operational context