Approche haut niveau pour la génération automatique d'accélérateurs matériels optimisés pour les réseaux de neurones profonds

Being one of the cutting-edge solutions in the computer vision field, Convolutional neural networks (CNNs) are rapidly evolving. Indeed, researchers put many efforts to enhance the accuracy of these algorithms to meet increasingly complex object detection and recognition tasks. The improvement in application performance, or even the reduction in the computation and memory requirements of CNNs, are mainly brought about by new topologies or by the introduction of new types of layers. CNN are characterized by their spatial parallelism and are well adapted for hardware acceleration. Despite these innovations, the large memory requirements and computational complexity of CNNs make them difficult to embed in embedded systems. Additionally, the fast-algorithmic evolutions are difficult to follow and master for hardware architects, which makes an existing software- hardware gap growing wider. Besides, designing hardware accelerators is a time consuming. In this dissertation, the challenges of the design process of neural networks accelerators are tackled by investigating various aspects of the design flow, the application, the hardware generation, and the exploration of the design space. These aspects are addressed through SHEFTENN, an end-to-end software and hardware exploration approach for CNN accelerator generation. SHEFTENN aims at reducing the gap between hardware and software by introducing a characterization phase to study the algorithmic description with a hardware point of view and by using modern Electronic System Level (ESL) design techniques such as high-level synthesis to generate hardware with a software point of view. Leveraging characterization metrics, automatic design space exploration is performed by an optimization module which uses a combination of model-based evaluations and real syntheses. Experimental results show the effectiveness of the proposed approach and lead to promising perspectives.Étant l’une des solutions de pointe dans le domaine de la vision par ordinateur, les réseaux de neurones convolutifs (CNN) évoluent rapidement. En effet, les chercheurs déploient de nombreux efforts pour améliorer la précision de ces algorithmes afin de répondre à des tâches de détection et de reconnaissance d’objet de plus en plus complexes. L’amélioration des performances applicatives, ou encore la diminution des besoins de calcul et de mémoire des CNNs sont principalement apportées par de nouvelles topologies ou par l’introduction de nouveaux types de couches. Les CNN se caractérisent par leur parallélisme intrinsèque et sont bien adaptés à l’accélération matérielle. Malgré ces innovations, les besoins importants en mémoire et la complexité de calcul des CNN les rendent difficiles à intégrer dans les systèmes embarqués. De plus, l’évolution rapide des algorithmes rend difficile leur maîtrise par les architectes matériels, ce qui rend l’écart logiciel-matériel existant de plus en plus important. En outre, la conception d’accélérateurs matériels prend un temps important. Dans cette thèse, les défis du processus de conception des accélérateurs de réseaux de neurones sont abordés en étudiant divers aspects du flot de conception, de l’application, de la génération de matériel et de l’exploration de l’espace de conception. Ces aspects sont abordés via SHEFTENN, une approche d’exploration logicielle et matérielle de bout en bout pour la génération d’accélérateurs CNN. SHEFTENN vise à réduire l’écart entre le matériel et le logiciel en introduisant une phase de caractérisation visant à étudier la description algorithmique d’un point de vue matériel et en utilisant ensuite des techniques modernes de conception de haut-niveau pour les systèmes électroniques (ESL) telles que la synthèse de haut niveau pour générer du matériel à partir d'une description logicielle. Tirant parti des métriques de caractérisation, l’exploration automatique de l’espace de conception est effectuée par un module d’optimisation hybride qui utilise une combinaison d’évaluations de l’architecture candidate basées sur des modèles et des synthèses réelles. Les résultats expérimentaux montrent l’efficacité de l’approche proposée et débouchent sur des perspectives prometteuses