Using synthetic data to improve the detection of sheep in drone images

Gjenfinning av sau på slutten av beitesesongen er ofte en veldig tidkrevende prosess. Etter flesteparten av sauene er returnert kan det ofte være noen få dyr igjen som ikke kom seg tilbake med resten. Lokalisering og gjenfinning av de siste dyrene innebærer ofte sporing og leting over lange distanser over en lang tidsperiode. Denne arbeidskrevende prosessen kan bli lettere ved å ta i bruk moderne teknologi. Droner har blitt mer populært de siste tiårene i ulike kommersielle sektorer som for eksempel i jordbrukssektoren. Tidligere forskning har vist at å benytte seg av maskinlæringsmetoder for å detektere sauer i dronebilder kan være en praktisk måte å lokalisere sauer på beite for gjenfinning. Sauer finnes i ulike farger og kan ofte være delvis tildekket av vegetasjon som blader og gress når man tar bilder med drone. Denne oppgaven har som mål å finne ut av hvilke kategorier av sau som er vanskelig å detektere i dronebilder, i tillegg til å foreslå en metode for å generere syntetisk data for å forsøke å forbedre deteksjonen av de kategoriene som ble funnet å være de vanskeligste å detektere. For å generere den syntetiske dataen, ble Perception pakken for spillmotoren Unity brukt. Maskinlæringsmetoden som ble brukt til å detektere sauer var YOLOv5. To modeller ble trent; den såkalte baseline-modellen som kun ble trent på ekte dronebilder, og den såkalte mixed-modellen som brukte både ekte og syntetisk genererte data til trening. Kategoriene av sau som ble funnet å være de vanskeligste å detektere var sauer av alle farger så lenge de var delvis tildekket av vegetasjon, men spesielt sauer av mørke farger som var delvis tildekket. Mixed-modellen oppnådde en 9.43% høyere fullstendighet (recall) enn baseline-modellen for tildekkede sauer generelt, og en 37.5% høyere fullstendighet (recall) enn baseline-modellen for mørke tildekkede sauer ved en konfidensterskel på 0.8