segmentation applied to material metrology of electronic microscopy images

Ces travaux de thèse s'inscrivent dans le cadre industriel de la métrologie pour le semiconducteur.Le développement de nouvelles technologies de transistors et mémoires demande des effortsintensifs en métrologie. L'industrie actuelle répond bien à ce besoin en métrologie au stade de la production.Cependant, sur les étapes de recherche et développement, la grande majorité de la métrologie est faite manuellementet compte pour près de la moitié du temps de recherche et développement. La grande contraintede la problématique est la faible quantité de données annotées et la variabilité des cas d'utilisation. D'unautre coté, les objets à mesurer varient peu au sein d'un même cas d'utilisation et nous avons à dispositionun design de l'objet, qui est une version idéalisée de l'objet. Pour répondre à cette problématique, lestravaux de cette thèse sont découpés en trois parties.Tout d'abord, nous avons analysé les données à notre disposition. Les images proviennent de microscopesélectroniques en transmission. Nous avons étudié le fonctionnement de ce type de microscope ainsique les différentes façons de faire l'acquisition d'images. Cette étude a mis en évidence des modèles debruit différents selon les paramètres d'acquisition et l'échantillon. Nous avons validé expérimentalementque le modèle de bruit est celui de Poisson dans nos images. De plus, cela a permis de poser les bases denotre modèle d'image pour mettre en place une méthode d'analyse. Après un état de l'art, nous avons mis enplace un filtrage adapté. De plus, plusieurs modalités sont disponibles. Ces modalités mettent en évidencedifférentes caractéristiques de l'échantillon. Nous avons constaté une relation linéaire entre les modalitésétudiées. Dans un deuxième temps, nous avons développé une méthode de segmentation des matériaux basésur le design (image schématisée représentant la configuration des matériaux dans les grandes lignes). Lebut de cet algorithme est d'utiliser le design comme élément définissant la segmentation attendue. Nousavons utilisé l'Arbre de Formes, une structure de données qui organise les régions de l'image de manièrehiérarchique avec des opérateurs morphologiques. Cette structure représente efficacement le design pourfaire une mise en correspondance avec une image de l'objet. Cette mise en correspondance est faite demanière similaire au Graph Cut, c'est-à-dire en minimisant une énergie à travers l'Arbre de Formes del'image. Cette minimisation s'appuie sur plusieurs caractéristiques tels que le niveau de gris et la positionqui sont deux informations importantes venant du microscope et du design. Enfin la régularisation contraintla résolution du problème pour obtenir une segmentation cohérente avec le design.Enfin, nous avons mise en place un ensemble d'algorithmes pour mesurer des objets de manière automatique.Cette mesure est définie par l'utilisateur afin de pouvoir s'adapter aux différents cas. La premièreétape utilise l'analyse de données précédente pour effectuer un filtrage adapté. Nous avons ensuite une étapede détection d'objets pour avoir la localisation des objets sur l'image. Pour cela nous avons développé uneméthode utilisant des descripteurs de réseaux de neurones convolutifs et une fenêtre glissante. La troisièmeétape utilise la méthode de segmentation présentée dans ce manuscrit afin d'extraire les matériaux des objetsen accord avec la définition du design. Enfin, nous présentons dans cette thèse deux méthodes de replacementde mesures afin d'améliorer la précision des mesures. Les travaux de cette thèse ont été ou serontintégrés dans le produit de Pollen Metrology et sont utilisés au quotidien par une cinquantaine de personneschez deux clients industriels différents.This thesis work is included in the context of the metrology of objects from the semiconductorindustry. The development of new technologies of transistors and memories requires tremendous effortsfor the metrology. The industry has solutions to this need for the steps of the production. However, duringthe research and development steps, the vast majority of the metrology is done by hand and represent halfof the time of the engineers. The biggest constraint is the low quantity of annotated data and the variabilityof the use cases. On the other hand, the objects we want to measure have a low variability inside a use case.In addition, we have access to a design which is an ideal version of the object. To solve this challenge, thisthesis is split into three parts.First, we analyzed the available data. The images are acquired with transmission electron microscopes.We studied the working of the microscope and the different modalities of acquisition. This study highlighteddifferent noise models depending on the sample and the acquisition parameters. We experimentallyvalidated the Poisson noise model on our images. Based on this assumption, we created a model from ourimages to design an appropriate method. After a study of the state of the art, we used an adapted filter forthe preprocessing. We also shown that modalities are linearly dependent. This modalities reveals differentcharacteristics of the sample.In a second time, we developed a segmentation method based on the design. The goal of this algorithmis to use the design as the target defining the resulting segmentation.We used the Tree of Shapes, a structurewhich hierarchically organize regions of the image with morphological operators. This structure representsefficiently the design to perform matching with the image of the object. This matching is done in a similarway as the Graph Cut by minimizing an energy through the Tree of Shapes of the image. The minimizationuses several characteristics such as the grey level intensity and the position which are two important informationcoming from the microscope and the design. Finally, the regularization constraints the solving ofthe problem in order to obtain a resulting segmentation that is coherent with the design.Finally, we designed a pipeline of algorithm to perform automatic measurements of objects. The measuresare defined by a user to be able to adapt for all cases. The first step uses the analysis on the data donepreviously to perform an adapted filter. We then developed an object detection algorithm to retrieve thelocalization of objects in the image. This algorithm is based on convolutionnal neural networks features andsliding window. Th third uses the segmentation method described previously to extract the materials fromthe object based on the design. Finally, we developed two methods for the replacement of measures on thedetected objects to increase the precision of the measures. The work of this thesis is integrated in the productof Pollen Metrology and is used on a daily basis by around fifty persons by two industrial customers