Deep Learning Approach in Human Detection on Aerial images for Search and Rescue Missions

U ovom radu predlaže se novi pristup u detekciji osoba na zračnim slikama prikupljenima s bespilotnih letjelica u misijama potrage i spašavanja u mediteranskim i submediteranskim krajolicima. Detekcija ljudi u slikama visoke prostorne razlučivosti uključuje objekte koji su relativno mali i često teško razaznatljivi u okolišu, stoga je takvo otkrivanje izazovan i zahtjevan zadatak. Predložena metoda počinje smanjivanjem prostora za pretraživanje kroz vizualni algoritam pažnje koji otkriva istaknute ili većinu istaknutih segmenata na slici. Kako bi se smanjio broj nevažnih istaknutih regija, odabrane su one regije koje najvjerojatnije sadrže osobu upotrebom unaprijed obučene i fino podešene konvolucijske neuronske mreže (CNN). Stvorena je posebna baza slika pod nazivom HERIDAL u svrhu treniranja i testiranja predloženog modela. Za akviziciju slika korištene su optičke kamere visoke rezolucije instalirane na bespilotnim letjelicama (UAV). Letovi su se većinom izvodili u relativno niskom letu na neurbanim područjima u prirodi. Za potrebe treniranja prikupljeno je više od 68.750 manjih isječaka odnosno segmenata, a u svrhu testiranje prikupljeno je 500 označenih slika u punoj veličini. Predložena metoda postigla je stopu detekcije od 88,9% i preciznosti od 34,8% čime je pokazana veća učinkovitost od IPSAR sustava kojim se trenutno koriste timovi za potragu i spašavanje u Hrvatskoj. Baza slika HERIDAL je korištena za treniranje i testiranje suvremenog generičkog sustava detekcije Faster R-CNN koji je postigao usporedive, ali ipak nešto lošije rezultate od predložene metode.In this paper, we propose a novel approach to person detection in UAV aerial images for search and rescue tasks in Mediterranean and Sub-Mediterranean landscapes. Person detection in very high spatial resolution images involves target objects that are relatively small and often camouflaged within the environment; thus, such detection is a challenging and demanding task. The proposed method starts by reducing the search space through a visual attention algorithm that detects the salient or most prominent segments in the image. To reduce the number of non-relevant salient regions, we selected those regions most likely to contain a person using pre-trained and fine-tuned convolutional neural networks (CNNs) for detection. We established a special database called HERIDAL to train and test our model. This database was compiled for training purposes, and it contains over 68,750 image patches of wilderness acquired from an aerial perspective as well as approximately 500 labelled full-size real-world images intended for testing purposes. The proposed method achieved a detection rate of 88.9% and a precision of 34.8%, which demonstrates better effectiveness than the system currently used by Croatian Mountain search and rescue (SAR) teams (IPSAR), which is based on mean-shift segmentation. We also used the HERIDAL database to train and test a state-of-the-art region proposal network, Faster R-CNN, which achieved comparable but slightly worse results than those of our proposed method