Drone-based Detection of Sheep using Thermal and Visual Cameras: A Complete Approach

Det har vært en stor økning i bruken av dronebasert teknologi på verdensbasis. Bruken av disse verktøyene i mange profesjonelle områder har blitt mer og mer populær, inkludert innen jordbruket. Sent på høsten må sauebønder samle inn alle dyrene fra beitet og inn på gården. Flesteparten av sauene kommer av seg selv, men en viss andel vil ofte forbli i beiteområdet. Arbeidet med å finne de siste sauene er ofte en vanskelig oppgave for sauebonden, ettersom de kan være spredt over et veldig stort område som er vanskelig å bevege seg gjennom og lete i. Hvis bonden kunne tatt i bruk et automatisk system for å finne de siste sauene kunne de spart veldig mye tid og arbeid. Tidligere arbeid ved NTNU har hovedsakelig omfattet bruken av objektdeteksjon for å finne sau i visuelle bilder. Dette arbeidet var grunnlaget for én del av denne oppgaven, da funnene ble brukt som et startpunkt for det visuelle deteksjonssystemet. Hensikten med denne masteroppgaven er å jobbe videre med dette tidligere arbeidet, kombinere visuell deteksjon med deteksjon basert på termiske bilder, og å lage et komplett system basert på disse teknologiene. Denne masteroppgaven undersøker hvordan tidligere arbeid kan kombineres for å lage et effektivt, fungerende system for å finne de siste sauene. Oppgaven sammenligner grundig forskjellige konfigurasjoner av deteksjonsmodeller og maskinvareløsninger, og evaluerer hvordan de kan brukes i virkelige problemstillinger. Det ble konkludert at YOLOv3-tiny er et objektdeteksjonssystem som er veldig treffsikkert i deteksjon av sauer, og som er mye raskere enn andre testede konfigurasjoner. Det ble vist at dette er en optimal konfigurasjon for objektdeteksjon, med tanke på maskinvarebegrensninger som kan være problematiske for praktisk bruk av et slikt system. Denne metoden er rask nok for å kunne praktisk brukes lokalt på en bærbar PC. Ved å dele bildedataen i mindre deler ble deteksjonstreffsikkerhet forbedret ved flyvning høyt over bakken, og visuell deteksjon fungerer bra opp til den lovlige maksimumshøyden for droneflyvninger. Termisk deteksjon var begrenset til en lavere høyde på grunn av oppløsningen på det termiske kameraet som var tilgjengelig. Et termisk kamera med høyere oppløsning ville ført til en stor økning i høyden der deteksjon kan gjennomføres, og derfor også gjøre at hvert bilde dekker et større område. Ved å bruke kriteriet at man detekterer minst én sau i hver gruppe kan systemet finne hver gruppe i testdatasettet. Det er usikkert hvor bra det fungerer i virkelig bruk. Dette kriteriet tillater en høyere deteksjonsterskel, som reduserer antallet falske positiver. Hvis denne terskelen er for høy vil hele grupper med sauer ikke bli funnet, så det gjenstår å se hvor nyttig denne metoden faktisk er. Det ble funnet at kombinasjonen av termiske og visuelle bilder kan øke deteksjonstreffsikkerheten, da den ene metoden ofte fungerer bedre der den andre har svakheter. Tekniske begrensninger betyr at en sann kombinasjon av bildetypene ikke var mulig, men en simpel kombinasjon av deteksjonsdata fra begge viste uansett en stor økning i treffsikkerhet