Remote Control of Autonomous Vehicle Through 5G Network With Integrated Operator-Assistance System

Løftet om autonom teknologi har lenge vært fristende. Den har potensial til å transformere opplevelsen vår av reise, fjerne folk fra høyrisikoarbeidsmiljøer, hjelpe til med transport, effektivisere bransjene våre og mer. Selvkjørende kjøretøy begynner sakte men sikkert å bli en realitet til tross for de mange hindringene som fortsatt må overvinnes. Spesielt i aspekter som gjenstandsdeteksjon i dårlig vær, full autonom kontroll, reaksjon på plutselige problemer eller uforutsette situasjoner der kjøretøyet kan ende opp med å gjøre skade. I alle disse situasjonene er det viktig å ha en mulighet til å ta manuell kontroll over kjøretøyet for å trygt bringe det tilbake til normale omgivelser og tilstand . Dette prosjektet tar sikte på å utforske og bestemme hvordan man kan bygge et slikt operatørassistansesystem for sanntids fjernkontroll av autonome kjøretøy, og vise gjennomførbarheten av det. Ulike metoder ble brukt under utforskning av mulige implementeringer av systemet; høyhastighetstilkobling i sanntid, kontroll, objektdeteksjon, styring, video-overføring og en GUI til bruk for operatøren var blant det som skulle være operativt. Resultatet var et operatørassistansesystem bygget på toppen av en Nvidia Drive-plattform på en fullskala elektrisk KIA Niro og en ARM-basert Linux datamaskin, NVIDIA DRIVE AGX Xavier. Forbindelsen mellom operatøren og det autonome kjøretøyet ble realisert gjennom Wireguard VPN over et 5G mobilnettverk med en spesialisert ruter montert i bilen, for å minimere overføringsforsinkelser og jitter. Ved ytterligere å bruke ROS som en base for å kontrollere og sende data ble det mulig å fjernstyre bilen og overføre video. For å hjelpe operatøren med å unngå dårlige manøvrer, ble objektdeteksjon med Yolo5 implementert og lagt til de mottatte dataene. Alt dette ble senere samlet, automatisert og presentert i et grafisk grensesnitt tilgjengelig for operatøren