Hyperspectral computational microscopy using structured light sheet and deep convolutional neural networks

La microscopie en fluorescence est un puissant outil de l'étude du vivant qui permet d'étudier des objets de taille microscopique : du petit organisme vivant (1 à 10 millimètres) à la cellule (10 à 100 micromètres). L'avantage principal de ce type de microscopie est qu'il permet d'obtenir des images à fort contraste en fond sombre avec un ciblage différencié des structures d'intérêt grâce à l'utilisation de fluorochromes. Aujourd'hui, il existe de nombreux types de microscopes qui ont été développés afin d'augmenter le type de données mesurables et la résolution de celle-ci (super-résolution, microscopie volumique, marquage intrinsèque...).Dans le cadre de cette thèse, nous avons développé un microscope à feuillet de lumière hyperspectral. Ce type d'instrument permet de mesurer un cube de données hyperspectrales qui correspond aux spectres de la fluorescence émise par un échantillon en tout point de celui-ci. Or, on ne dispose pas de capteur quadridimensionnel à haute résolution pour mesurer les quatre dimensions du cube de données hyperspectrales (trois dimensions spatiales et une dimension spectrale). Néanmoins on peut faire l'acquisition du cube hyperspectral par balayage des dimensions, mais cela se fera au prix d'un compromis entre temps d'acquisition et résolution spatiale et spectrale. Afin d'optimiser ce compromis, nous avons choisi de faire de la spectroscopie d'Hadamard, de sorte à maximiser le rapport signal à bruit. Nous avons aussi choisi de sous-échantillonner les mesures pour réduire les temps d'acquisition. Or les mesures obtenues par spectroscopie d'Hadamard nécessitent d'être reconstruites et le sous-échantillonnage induit une perte en résolution. Nous avons donc intégrer du "Physics-informed deep learning" à nos algorithmes de reconstruction pour améliorer la qualité des images. Durant ma thèse, j'ai développé deux montages expérimentaux basés sur le concept d'acquisition computationnelle par illumination structurée qui permet de faire de la spectroscopie d'Hadamard. Le premier montage nous a permis de valider ce concept et ainsi de produire le premier microscope computationnel hyperspectral par feuillet de lumière. Néanmoins, ce montage présente une résolution spatiale limitée. C'est pourquoi j'ai mis au point un second montage basé sur une autre méthode de génération du feuillet de lumière structurée, j'ai également ajouté dans les algorithmes de reconstruction d'images une architecture de réseaux de neurones convolutionnelle. Grâce à cette approche, nous avons amélioré la résolution spatiale de notre système d'acquisition. De plus, la dernière version du montage expérimental permet de structurer le faisceau d'illumination selon une dimension supplémentaire. Ce qui permettrait de réduire les temps d'acquisition selon une dimension supplémentaire. Dans des travaux ultérieurs, il serait intéressant d'orienter les développements en vue d'une application à un type d'organisme précis ou une problématique biologique. Pour ce faire, sur la base de ces travaux un travail sur la puissance et la structuration de l'illumination serait nécessaire. Il serait aussi pertinent de poursuivre le développement des algorithmes de reconstruction afin d'améliorer la qualité des reconstructions.Fluorescence microscopy is a powerful tool to study living organisms that allow to image objects of microscopic size, from the small living organism (1 to 10 millimetres) to the cell (10 to 100 micrometres). This type of microscopy allows to produce high contrast within a dark background with differentiated targeting of the parts of the object being studied thanks to the use of different fluorochromes. Today, there are many types of microscopes that have been developed to increase the type of data that can be measured and its resolution (super-resolution, volume microscopy, intrinsic labelling, etc...). These new instruments have increased our capacity to study living organisms. In this thesis, we developed a hyperspectral light sheet microscope. This type of instrument allows the measurement of a hyperspectral data cube which corresponds to the spectra of the fluorescence emitted by a sample at any point of the sample. However, a four-dimensional high-resolution sensor is not available to measure the four dimensions of the hyperspectral data cube (three spatial dimensions and one spectral dimension). Nevertheless, the hyperspectral cube can be acquired by scanning the dimensions, but this will be at the cost of a trade-off between acquisition time and spatial and spectral resolution. In order to optimise this trade-off, we have chosen to perform Hadamard spectroscopy, so as to maximise the amount of signal collected. We also chose to subsample the measurements to reduce the acquisition time. However, measurements obtained by Hadamard spectroscopy require reconstruction and sub-sampling leads to a loss in resolution. We have therefore integrated physics-informed deep learning into our reconstruction algorithms to improve the quality of the images reconstructed. During my thesis, I developed two experimental setups based on the concept of computational acquisition by structured illumination. The first setup allowed us to validate this concept and thus produce the first hyperspectral computational microscope by light sheet. Nevertheless, this set-up has a limited spatial resolution. Therefore, I developed a second setup based on another method of generating the structured light sheet, I also added a convolutional neural network architecture in the image reconstruction algorithms. Thanks to this approach, we have improved the spatial resolution of our acquisition system. Furthermore, the latest version of the experimental setup allows us to structure the illumination beam along an additional dimension. This would allow us to reduce the acquisition time by one more dimension. In future work, it would be interesting to direct the developments towards an application to a specific type of organism or a biological problem.Thus, on the basis of this work, a work on the power and structuring of the illumination would be necessary. It would also be relevant to continue the development of reconstruction algorithms in order to improve the quality of the reconstructions