Caractérisation et analyse de la peau humaine basées sur la réflectance hyperspectrale à l'aide de l'apprentissage automatique

Skin, the largest and multi-functional organ of human body, has always been an important research object in many fields, such as cosmetics and computer graphics. Its appearance especially color can reflect certain diseases, such as melanoma and vitiligo, which has been widely investigated. In the past, we obtain the skin physiological information by biopsy. This method is usually invasive and takes long time. Recently, the inner information can be derived non-invasively benefiting from skin hyperspectral diffuse reflectance. However, it is still a challenging task since the accuracy and the efficiency cannot be ensured at the same time in applications. For example, the gold standard Monte Carlo method gives favorable estimations but costs much time. This thesis aims to build a detailed skin model and apply it for faster non-invasive determination of skin components. Moreover, an auxiliary method based on this model can identify the presentation attacks at high precision.Our skin model is composed of three sub-layers: the epidermis, the dermis and the subcutis. We first implement a GPU-based Monte Carlo method to reconstruct a skin diffuse reflectance database based on our skin model. The wavelength is randomly taken in the visible light range from 450 to 700 nm. Then, this database is used for training a forward artificial neural network to map optical parameters calculated from our skin model and skin diffuse reflectance. We compare the skin diffuse reflectance reconstructing capacity of forward network and Monte Carlo method, and find that they match well each other. It takes 19 ms for the forward network to reconstruct a reflectance spectrum for 450 to 700 nm with 1 nm interval. However, it takes 337 s for Monte Carlo method. Besides this, we analyze the impact of each skin parameters on reconstructed reflectance and then apply this forward network combined with a curve-fitting algorithm to extract skin parameters using NIST skin database. The results show that the forward network has acceptable accuracy for melanin, blood and oxygen saturation without limitations to fix the thickness of skin sub-layers. And the forward network method costs an average of 17 seconds to finish the extraction process. An inverse network, random forest and support vector regression are also studied. As shown in previous research, inverse networks have large errors in extracting skin parameters but at extremely high speed. In our research, we generate a skin diffuse reflectance database using proposed forward network instead of Monte Carlo method to reduce time cost. Two types of dimensionality reduction methods: low variance filter and principal component analysis are applied for further speeding up. The experiments show that the inverse net- work works better in extracting melanin content than random forest and support vector regression and has similar results to inverse Monte Carlo. Moreover, it only takes around 10 min to train the inverse network after having used dimensionality reduction methods and 12 ms to extract melanin content for one spectrum.As for the presentation attacks detection, we use two metrics RMSE and STD of fitting performance to classify if the object diffuse reflectance belongs to skin. By selecting the appropriate wavelength range, it has promising classification results. The vulnerability of face recognition system has been discussed a lot while detecting presentation attacks, especially the silicon face masks. Our method uses hyperpspectral reflectance to identify the non-skin objects because the absorption coefficients of several skin pigments are unique. We will collect more hyperspectral skin images and generalize our method for practical applications.La peau, organe le plus grand et multifonctionnel du corps humain, a toujours été un objet de recherche important dans de nombreux domaines, tels que les cosmétiques et l’infographie. Son aspect en particulier sa couleur peut refléter certaines maladies, comme le mélanome et le vitiligo, qui ont été largement étudiées. Dans le passé, nous obtenions les informations physiologiques cutanées par biopsie. Cette méthode est généralement invasive et prend du temps. Récemment, les informations internes peuvent être dérivées de manière non invasive en profitant de la réflectance diffuse hyperspectrale de la peau. Cependant, il s’agit toujours d’une tâche difficile car la précision et l’efficacité ne peuvent être assurées en même temps dans les applications. Par exemple, la méthode de référence de Monte Carlo donne des estimations favorables mais coûte beaucoup de temps. Cette thèse vise à construire un modèle de peau détaillé et à l’appliquer pour une détermination non invasive plus rapide des composants de la peau. De plus, une méthode auxiliaire basée sur ce modèle permet d’identifier les attaques de présentation avec une grande précision.Notre modèle de peau est composé de trois sous-couches : l’épiderme, le derme et le sous-cutané. Nous avons d’abord implémenté une méthode de Monte Carlo basée sur GPU pour reconstruire une base de données de réflectance diffuse de la peau basée sur notre modèle de peau. La longueur d’onde est prise au hasard dans la gamme de lumière visible de 450 à 700 nm. Ensuite, cette base de données est utilisée pour entraîner un réseau de neurones artificiels avant pour cartographier les paramètres optiques calculés à partir de notre modèle de peau et de la réflectance diffuse de la peau. Nous comparons la capacité de reconstruction de la réflectance diffuse de la peau du réseau avant et de la méthode de Monte Carlo, et constatons qu’ils correspondent bien. En outre, nous analysons l’impact de chaque paramètre de peau sur la réflectance reconstruite, puis appliquons ce réseau avant combiné à un algorithme d’ajustement de courbe pour extraire les paramètres de la peau à l’aide de la base de données de la peau NIST. Les résultats montrent que le réseau direct a une précision acceptable pour la saturation en mélanine, en sang et en oxygène sans limitation pour fixer l’épaisseur des sous-couches cutanées. Un réseau inverse, une forêt aléatoire et une régression vectorielle de support sont également étudiés. Comme indiqué dans des recherches précédentes, les réseaux inverses ont de grandes erreurs dans l’extraction des paramètres de la peau mais à une vitesse extrêmement élevée. Dans notre recherche, nous générons une base de données de réflectance diffuse de la peau en utilisant le réseau direct proposé au lieu de la méthode de Monte Carlo pour réduire le coût en temps. Deux types de méthodes de réduction de dimensionnalité : un filtre à faible variance et une analyse en composantes principales sont appliqués pour accélérer davantage. Les expériences montrent que le réseau inverse fonctionne mieux pour extraire la teneur en mélanine que la forêt aléatoire et supporte la régression vectorielle et a des résultats similaires à l’inverse de Monte Carlo.Comme pour la détection des attaques de présentation, nous utilisons deux métriques RMSE et STD de performance d’adaptation pour classer si la réflectance diffuse de l’objet appartient à la peau. En sélectionnant la gamme de longueurs d’onde appropriée, il a des résultats de classification prometteurs. La vulnérabilité du système de reconnaissance faciale a été beaucoup discutée lors de la détection des attaques de présentation, en particulier les masques en silicone. Notre méthode utilise la réflectance hyperpspectrale pour identifier les objets non cutanés car les coefficients d’absorption de plusieurs pigments cutanés sont uniques. Nous collecterons plus d’images de peau hyperspectrales et généraliserons notre méthode pour des applications pratiques