Multimodal microscopy practice: automatic image registration for optical microscopy and scanning electron microscopy

A discriminação de fases que são praticamente indistinguíveis ao microscópio ótico de luz refletida ou ao microscópio eletrônico de varredura (MEV) é um dos problemas clássicos da microscopia de minérios. Com o objetivo de resolver este problema vem sendo recentemente empregada a técnica de microscopia colocalizada, que consiste na junção de duas modalidades de microscopia, microscopia ótica e microscopia eletrônica de varredura. O objetivo da técnica é fornecer uma imagem de microscopia multimodal, tornando possível a identificação, em amostras de minerais, de fases que não seriam distinguíveis com o uso de uma única modalidade, superando assim as limitações individuais dos dois sistemas. O método de registro até então disponível na literatura para a fusão das imagens de microscopia ótica e de microscopia eletrônica de varredura é um procedimento trabalhoso e extremamente dependente da interação do operador, uma vez que envolve a calibração do sistema com uma malha padrão a cada rotina de aquisição de imagens. Por esse motivo a técnica existente não é prática. Este trabalho propõe uma metodologia para automatizar o processo de registro de imagens de microscopia ótica e de microscopia eletrônica de varredura de maneira a aperfeiçoar e simplificar o uso da técnica de microscopia colocalizada. O método proposto pode ser subdividido em dois procedimentos: obtenção da transformação e registro das imagens com uso desta transformação. A obtenção da transformação envolve, primeiramente, o pré-processamento dos pares de forma a executar um registro grosseiro entre as imagens de cada par. Em seguida, são obtidos pontos homólogos, nas imagens óticas e de MEV. Para tal, foram utilizados dois métodos, o primeiro desenvolvido com base no algoritmo SIFT e o segundo definido a partir da varredura pelo máximo valor do coeficiente de correlação. Na etapa seguinte é calculada a transformação. Foram empregadas duas abordagens distintas: a média ponderada local (LWM) e os mínimos quadrados ponderados com polinômios ortogonais (MQPPO). O LWM recebe como entradas os chamados pseudo-homólogos, pontos que são forçadamente distribuídos de forma regular na imagem de referência, e que revelam, na imagem a ser registrada, os deslocamentos locais relativos entre as imagens. Tais pseudo-homólogos podem ser obtidos tanto pelo SIFT como pelo método do coeficiente de correlação. Por outro lado, o MQPPO recebe um conjunto de pontos com a distribuição natural. A análise dos registro de imagens obtidos empregou como métrica o valor da correlação entre as imagens obtidas. Observou-se que com o uso das variantes propostas SIFT-LWM e SIFT-Correlação foram obtidos resultados ligeiramente superiores aos do método com a malha padrão e LWM. Assim, a proposta, além de reduzir drasticamente a intervenção do operador, ainda possibilitou resultados mais precisos. Por outro lado, o método baseado na transformação fornecida pelos mínimos quadrados ponderados com polinômios ortogonais mostrou resultados inferiores aos produzidos pelo método que faz uso da malha padrão.The discrimination of phases that are practically undistinguishable to the optical microscope of reflected light or to the scanning electron microscope (SEM) is one of the classical problems in ore microscopy. With the aim of solving this problem it has been recently used the technique of co-located microscopy that consists in the junction of two microscopy modalities, optical microscopy and scanning electron microscope. The aim of the technique is to provide an image of the multimodal microscopy, becoming possible the identification, in mineral samples, of phases that wouldnt be distinguished by the use of one modality only, overcoming the individual limitations of the two systems. The method of register available so far in literature to the fusion of optical microscopy and scanning electron microscope images is a hard-working procedure and extremely dependent on the operator interaction, once it involves the system calibration with a standard mesh in each routine of images acquisition. Due to this reason the current technique is not practical. This piece of work proposes a methodology in order to automate the process of images register in optical microscopy and scanning electron microscopy in a way to improve and simplify the co-located microscopy technique. The proposed method may be divided in two procedures: acquisition of transformation and register of the images with the use of this transformation. The acquisition of transformation involves, first, the pre-processing of pairs in a way of performing a crude register among the images of each pair. Then, homologous points are achieved in the optical and in SEM images. In order to this, it has been used two methods, the first one was developed based in algorithm SIFT and the second was defined from the sweeping of the highest of coefficient correlation. In the following step it is calculated the transformation. Two different approaches were used: the local weighted mean (LWM) and the weighted least squares with orthogonal polynomials (MQPPO). The LWM receives as entrance what we call pseudo-counterparts, points that are distributed in a regular way in the reference image, and that reveal, in the image to be registered, the relative local dislocation among the images. Those pseudo-counterparts may be obtained by SIFT or by the method of correlation coefficient. On the other side, the MQPPO receives a group of points with natural distribution. The analysis of the images registration obtained employed as a metric the value of correlation among the obtained images. It was noticed that with the use of the proposed variants SIFT-LWM and SIF-Correlation were obtained slightly higher results than the ones from the method with standard mesh and LWM. Thus, the proposal, besides reducing drastically the operator intervention, still enabled more exact results. On the other side, the method based in the transformation provided by the minimum square pondered with orthogonal polynomial showed lower results than to the ones produced by the method that used standard mes