Adjoints of large simulation codes through Automatic Differentiation

ABSTRACT. Adjoint methods are the choice approach to obtain gradients of large simulation codes. Automatic Differentiation has already produced adjoint codes for several simulation codes, and research continues to apply it to even larger applications. We compare the approaches chosen by existing Automatic Differentiation tools to build adjoint algorithms. These approaches share similar problems related to data-flow and memory traffic. We present some current state-of-the-art answers to these problems, and show the results on some applications. RÉSUMÉ. Les méthodes adjointes sont largement utilisées pour obtenir des gradients de simulations de grande taille. La Différentiation Automatique est une méthode de construction des codes adjoints qui a déjà été appliquée à plusieurs codes de taille réaliste, et les recherches visent des codes encore plus gros. Nous comparons les approches choisies par les principaux outils de Différentiation Automatique pour construire des codes adjoints, en mettant l’accent sur les problèmes de flot de données et de consommation mémoire. Nous présentons des développements récents dans l’application d’un principe classique de compromis stockage-recalcul, et nous montrons nos résultats expérimentaux préliminaires