Inter- and intra-individual data fusion in medical imagning applied to the anatomical modeling of the human brain

Many research efforts in 3D medical imaging have been directed towards the definition of efficient and fast display and processing tools . Some very promising results are already available allowing a better access and a better use of the contents of medical images . The objective of this paper is to extend the use of existing data fusion methods toward their application in medicine (radiation therapy, epilepsy surgery, conventional neurosurgery etc.). Data fusion facilitates a better use of 3D image data by providing methods for the fusion of data from multiple modalities e.g ., multimodal registration and fusion between anatomical and functional data, the fusion of data from different patients or with a priori knowledge (models and/or atlases) and the recognition of complex anatomical structures and their symbolic identifications, when they are not explicitly described by the image contents. Three aspects of data fusion are considered in this paper with a particular emphasis on brain imaging. The first one concerns the combination of images and/or generic data; specifically, methods for multimodality registration and matching of data from different individuals by means of warping models . The second aspect concerns the identification of anatomical structures . Finally, the paper presents a state of the art 3D display technique to render the combined data. Perspectives are presented concerning the links between these numerical fusion procedures and their complementary symbolic procedures (data bases and knowledge representation systems).Beaucoup d'efforts de recherche en imagerie 3D médicale ont été dirigés vers la définition d'outils de traitement et de visualisation efficaces et rapides. Des résultats très encourageants sont disponibles aujourd'hui pour améliorer l'accès et l'utilisation médicale du contenu des images. Notre objectif dans ce papier est d'étendre le champ d'utilisation des méthodes de fusion de données à des fins d'applications précises (radiothérapie, chirurgie de l'epilepsie, neurochirurgie conventionnelle, etc.). L'amélioration de l'utilisation des données 3D passe par un effort de recherche plus poussé dans le domaine de la fusion de données. Cela concerne notamment la comparaison d'informations multi-capteurs (fusion multi-modalités, fusion d'informations anatomo-fonctionnelles,...), la fusion d'informations multi-patients ou venant de connaissances a priori (modèles) et enfin la reconnaissance de structures anatomiques complexes et leur identification symbolique, lorsqu'elles ne sont pas explicitement décrites par le contenu des images. Le problème de la fusion de données peut se traduire sous la forme i) d'une fusion de données multi-capteurs d'informations anatomiques et/ou fonctionnelles et ii) d'une fusion de données multi-individus qui, circonscrits au domaine cérébral, passe par l'utilisation de modèles d'anamorphose. Ces deux aspects mis bout à bout forment la trame méthodologique nécessaire à la modélisation anatomique des structures cérébrales. C'est dans ce cadre que se situent les travaux présentés dans ce papier. Le problème de fusion de données est abordé à la fois sous l'angle de la combinaison d'images et/ou de données génériques: problème du recalage multi-modalités et de la mise en correspondance de données entre individus (modèles de déformation appliqués au cerveau humain), sous l'angle de l'identification de structures anatomiques présentes sur les images (segmentation et étiquetage semantique) et enfin sous l'angle de la visualisation 3D des différentes informations. Des perspectives seront données pour ce qui concerne le lien entre ces procédures de fusion numériques et leurs compléments symboliques (bases de données et de connaissances