Modelling of Neural Network Hardware Accelerators

Cílem této diplomové práce je zaměřit se na modelování akcelerátorů neuronových sítí s HW podporou kvantizace. Práce nejprve přibližuje koncept výpočtu konvolučních neuronových sítí (CNN) a představuje kategorie různých hardwarových architektur, které slouží k jejich zpracování. Následně jsou shrnuty optimalizační techniky modelů CNN, jejichž cílem je dosáhnout efektivního zpracování na specializovaných hardwarových architekturách. Další část práce obsahuje porovnání existujících analytických nástrojů, jež slouží k odhadu výkonnostních parametrů HW při inferenci, a které jsou rozšiřitelné o implementaci podpory kvantizace. Na základě experimentálního porovnání byl pro účely této práce vybrán nástroj Timeloop. Dále je představen popis fungování tohoto nástroje spolu s návrhem a implementací jeho rozšíření o podporu kvantizace. V závěru práce jsou experimentálně otestovány důsledky různých konfigurací kvantizace na vyhodnocené parametry inference u různých hardwarových architektur.The aim of this master thesis is modeling of neural network accelerators with HW support for quantization. The thesis first focuses on the concept of computation in convolutional neural networks (CNNs) and introduces different categories of hardware architectures that are used for their processing. Following this, optimization techniques for CNN models are summarized, with the goal of achieving efficient processing on specialized hardware architectures. The subsequent part of the thesis involves a comparison of existing analytical tools that are used to estimate hardware performance parameters during inference and which can be expanded to incorporate quantization support. Based on an experimental comparison, the Timeloop tool was selected for the purposes of this thesis. A thorough explanation of this tool's functionality is presented, along with a concept and implementation of its expansion to support quantization. In conclusion, the thesis experimentally tests the impact of various quantization configurations on evaluated inference parameters across different hardware architectures.