Použití stavových LSTM sítí pro detekci klíčových frází

V tomto článku se zaměřujeme na sítě LSTM (Long Short-Term Memory) a jejich implementaci v populárním rámci zvaném Keras. Cílem je ukázat, jak využít jejich schopnosti projít kontextem při zachování stavu a objasnit, co vlastně znamená stavová vlastnost LSTM rekurentní neuronové sítě implementované v Kerasu. Hlavním výsledkem práce je pak obecný algoritmus pro balení libovolných dat závislých na kontextu, který je schopen 1 / zabalit data tak, aby odpovídala stavovým modelům; 2 / zefektivnění tréninkového procesu dodáním více rámců dohromady; 3 / on-the-fly (frame-by-fly) predikce trénovaným modelem. Jsou prezentovány dvě metody trénování, přístup založený na okně je porovnán s plně stavovým přístupem. Analýza se provádí na datovém souboru příkazů řeči. Nakonec poskytujeme návod, jak používat stavové LSTM k vytvoření systému detekce klíčových frází.In this paper, we focus on LSTM (Long Short-Term Memory) networks and their implementation in a popular framework called Keras. The goal is to show how to take advantage of their ability to pass the context by holding the state and to clear up what the stateful property of LSTM Recurrent Neural Network implemented in Keras actually means. The main outcome of the work is then a general algorithm for packing arbitrary context-dependent data, capable of 1/ packing the data to fit the stateful models; 2/ making the training process efficient by supplying multiple frames together; 3/ on-the-fly (frame-by-frame) prediction by the trained model. Two training methods are presented, a window-based approach is compared with a fully-stateful approach. The analysis is performed on the Speech commands dataset. Finally, we give guidance on how to use stateful LSTMs to create a key-phrase detection system