Defect detection and video inpainting for movie restauration

Le cinéma a été inventé il y a maintenant plus d’un siècle. De nombreux films ont été tournés, suivant les évolutions technologiques de chaque époque, depuis le cinématographe des frères Lumière jusqu’à la 3D. Le support de ces films a lui aussi évolué avec le temps, passant des sels argentiques sur pellicule au disque dur pour le numérique. Avec le temps, les supports des films argentiques ayant subi des dégradations chimiques, il devient essentiel de les restaurer afin de pouvoir profiter de leur contenu dans de bonnes conditions. Il s’agit là d’un enjeu majeur de conservation du patrimoine, mais qui soulève des questions éthiques, quant à savoir jusqu’où doit aller la restauration d’un film. Dans ce contexte, et en collaboration avec la Cinémathèque de Toulouse, nous avons développé un processus de restauration automatique de films anciens qui comporte deux étapes. La première étape consiste à détecter les défauts présents dans une image. La seconde consiste à remplir les zones ainsi détectées en procédant par inpainting vidéo. La prise en compte de l’information temporelle contenue dans les images adjacentes à l’image dégradée constitue un aspect essentiel de ces deux étapes. La détection des défauts de type taches, poussières ou autres, est opérée par apprentissage automatique sur réseaux de neurones profonds. En particulier, un réseau U-Net recevant trois images successives en entrée peut repérer les incohérences temporelles caractéristiques des défauts. La sortie de ce réseau est comparée à un masque de défauts créé à partir de la version restaurée de l’image centrale obtenue avec un logiciel spécialisé manipulé par un expert de la Cinémathèque de Toulouse. Enfin, le remplissage des zones endommagées est mené en alternant la reconstruction de la structure et la reconstruction de la texture de l’image à restaurer, qui toutes deux effectuent la recherche d’un optimum par des méthodes variationnelles.Cinema was invented more than a century ago. Many films have been shot, following the technological evolutions of each era, from the Lumière brothers’ cinematograph to 3D. The medium of these films has also evolved over time, from silver salts on film to hard disk for digital. With time, the supports of silver films having undergone chemical degradations, it becomes essential to restore them in order to be able to enjoy their content in good conditions. This is a major heritage conservation issue, but raises ethical questions about how far a film should be restored. In this context, and in collaboration with the Cinémathèque de Toulouse, we have developed an automatic restoration process for old movies that consists of two steps. The first step is to detect the defects present in an image. The second step consists in filling the areas thus detected by video inpainting. Taking into account the temporal information contained in the images adjacent to the degraded image is an essential aspect of both these steps. The detection of defects such as spots, dust or other defects is performed by automatic learning on deep neural networks. In particular, a U-Net receiving three successive images as input can detect temporal inconsistencies characteristic of defects. The output of this network is compared to a defect mask created from the restored version of the central image obtained with specialized software manipulated by an expert from the Cinémathèque de Toulouse. Finally, the filling of the damaged areas is carried out by alternating the reconstruction of the structure and the reconstruction of the texture of the image to be restored, both of which carry out the search for an optimum using variational methods