Automated estimation of biodiversity and coral fish abundance on videos

Les récifs coralliens soutiennent une forte biodiversité en poissons (environ 7000 espèces) qui est la source de plusieurs services écosystémiques comme l’apport en protéines via la pêche, la régulation des flux de matière mais aussi le support d’activités récréatives comme la plongée. Cependant, ces poissons subissent des pressions croissantes comme la surexploitation par la pêche et la destruction du corail par réchauffement climatique. Dans ce contexte, un des enjeux majeurs de l’écologie marine est d’estimer précisément la biodiversité, l’abondance et la biomasse de ces poissons récifaux et ce, avec une fréquence temporelle permettant de détecter les modifications liées aux changements environne-mentaux, aux pressions anthropiques et aux stratégies de gestion (e.g. réserves marines). Jusqu’à récemment, le recensement des poissons récifaux s’effectuait principalement en plongée au cours desquelles l’observateur identifiait toutes les espèces visibles et estimait leurs abondances (nombre d’individus). Ce protocole induit des limites comme la durée et la profondeur des plongées ainsi que des erreurs ou des biais liés à l’expérience du plongeur qui ne sont pas quantifiables ou corrigibles a posteriori. Face à ces limitations, les récents développements technologiques dans la prise de vidéos sous-marines en haute définition à moindre coût offrent des protocoles beaucoup moins contraignants. Cependant, il n’existe à l’heure actuelle aucun moyen rapide et fiable d’analyser ces quantités de données ce qui empêche l’essor de ces suivis vidéos à grande échelle. Au cours de cette thèse, nous avons mis en place des algorithmes d’identification et de localisation automatiques de poissons dans des vidéos sous-marines. L’ensemble du processus fut abordé, depuis les campagnes terrain permettant de récolter les vidéos à l’annotation de ces données afin de les rendre exploitables par des algorithmes d’apprentissage profond (ou Deep Learning), à la conception des modèles, au test de ces modèles et au traitement des sorties des différents modèles. Nous avons ainsi récolté plus de 380.000 images appartenant à plus de 300 espèces de poissons récifaux. Nous avons développé des méthodes d’identification précises (94% de bonnes classifications) pour 20 espèces parmi les plus présentes sur les récifs coralliens autour de Mayotte, ainsi que des méthodes de post-traitement permettant de détecter et de supprimer les erreurs commises par le modèle (diminuant ainsi le taux d’erreur jusqu’à 2%). Nous avons aussi développé un algorithme de détection permettant de localiser plus de 84% des individus présents à l’image sur une vidéo.Coral reefs are home of a great fish biodiversity (approximately 7000 species). This biodiversity is the source of many vital ecosystem services such as protein intakes for local populations, nutrients cycle or regulation of algae abundancy. However, increasing human pressure through over-fishing and global warming is destroying both fish popu-lations and their habitats. In this context, monitoring the coral reef fish biodiversity,abundancy and biomass with precision is one of the major issues for marine ecology. To face the increasing pressure and fast globals changes, such monitoring has to be done at a large sclae, temporally and spatially. Up to date, most of fish underwater census is achieved through diving, during which the diver identify fish species and count them. Such manual census induces many constraints (depth and duration of the dive) and biais due to the diver experience. These biais (mistaking fish species or over/under estimating fish populations) are not quantifiable nor correctable. Today, thanks to the improvement of high resolution, low-cost, underwater cameras, new protocoles are developed to use video census. However, there is not yet a way to automaticaly process these underwater videos.Therefore, the analysis of the videos remains a bottleneck between the data gathering through video census and the analysis of fish communities. During this thesis, we develop-ped automated methods for detection and identification of fish in underwater videos with Deep Learning based algorithm. We work on all aspects of the pipeline, from video acqui-sition, data annotation, to the models and post-processings conception, and models testing. Today, we have gather more than 380,000 images of 300 coral reef species. We developped an identification model who successfully identified 20 of the most common species onMayotte coral reefs with 94% rate of success, and post-processing methods allowing us to decrease the error rate down to 2%. We also developped a detection method allowing us to detect up to 84% of fish individuals in underwater videos