Real-time drone detection on an embedded device

Tradicionalne tehnologije za detekcijo dronov temeljijo na radio frekvencah, infrardečih kamerah in radarju. Te za svoje učinkovito delovanje potrebujejo zmogljive računalnike in specializirano strojno opremo. V tej diplomski nalogi se osredotočamo na detekcijo dronov v realnem času na vgrajenih napravah z uporabo konvolucijskih nevronskih mrež. V osnovni obliki te mreže ne upoštevajo časovnih informacij, ki so na voljo v video posnetkih. V delu predlagamo metodo dinamičnega okvirjanja, ki združuje optimizirane konvolucijske nevronske mreže in časovne informacije za doseganje boljše uspešnosti detekcij. Metoda deluje tako, da najprej predlaga kandidate dronov in nato izvede detekcijo na bližje izrezanih slikah okoli teh kandidatov. Učinkovitost naše metode smo primerjali s klasičnimi implementacijami nevronskih mrež. Povprečni čas izvajanja za eno sliko je enak 42 milisekund, kar je 8 milisekund nad mejo za realno časno izvajanje. Vendar metoda doseže povprečno natančnost 0.692 za meje IoU med 0.05 in 0.5, kar predstavlja izboljšanje za več kot 1 % v primerjavi z najnatančnejšo preizkušeno nevronsko mrežo. Poleg tega predlagana metoda pri meji IoU 0.25 doseže občutljivost 0.756, kar je 7 % višje od najboljše testirane mreže. Dinamično okvirjanje ni omejeno le na detekcijo dronov, temveč se lahko posploši za detekcijo poljubnih majhnih objektov v realnem času.Traditional drone detection technologies are based on radio frequencies, infrared cameras and radar. These technologies require powerful computers and specialized hardware for effective operation. In this work, we focus on real-time drone detection on embedded devices using convolutional neural networks. In their basic form, these networks do not take into account the temporal information available in videos. We propose a dynamic framing method that combines optimised convolutional neural networks and temporal information to achieve better detection performance. The method functions by initially suggesting drone candidates and then performing detection on cropped images around these candidates. We compare the performance of our method against traditional implementations of optimised neural networks. Dynamic framing achieves an average precision of 0.692 for IoU thresholds between 0.05 and 0.5, with an average time of 42.8 milliseconds per video frame. This represents an improvement of more than 1 % compared to the best performing neural network tested. Moreover, at an IoU threshold of 0.25, the proposed method achieves a sensitivity of 0.756, which is 7 % higher than the best neural network. Dynamic framing is not limited to drone detection and can be generalized to real-time detection of other small objects