Remote Control of Autonomous Vehicle Through 5G Network With Integrated Operator-Assistance System

Abstract

Løftet om autonom teknologi har lenge vært fristende. Den har potensial til å transformere opplevelsen vår av reise, fjerne folk fra høyrisikoarbeidsmiljøer, hjelpe til med transport, effektivisere bransjene våre og mer. Selvkjørende kjøretøy begynner sakte men sikkert å bli en realitet til tross for de mange hindringene som fortsatt må overvinnes. Spesielt i aspekter som gjenstandsdeteksjon i dårlig vær, full autonom kontroll, reaksjon på plutselige problemer eller uforutsette situasjoner der kjøretøyet kan ende opp med å gjøre skade. I alle disse situasjonene er det viktig å ha en mulighet til å ta manuell kontroll over kjøretøyet for å trygt bringe det tilbake til normale omgivelser og tilstand . Dette prosjektet tar sikte på å utforske og bestemme hvordan man kan bygge et slikt operatørassistansesystem for sanntids fjernkontroll av autonome kjøretøy, og vise gjennomførbarheten av det.

Ulike metoder ble brukt under utforskning av mulige implementeringer av systemet; høyhastighetstilkobling i sanntid, kontroll, objektdeteksjon, styring, video-overføring og en GUI til bruk for operatøren var blant det som skulle være operativt. Resultatet var et operatørassistansesystem bygget på toppen av en Nvidia Drive-plattform på en fullskala elektrisk KIA Niro og en ARM-basert Linux datamaskin, NVIDIA DRIVE AGX Xavier. Forbindelsen mellom operatøren og det autonome kjøretøyet ble realisert gjennom Wireguard VPN over et 5G mobilnettverk med en spesialisert ruter montert i bilen, for å minimere overføringsforsinkelser og jitter. Ved ytterligere å bruke ROS som en base for å kontrollere og sende data ble det mulig å fjernstyre bilen og overføre video. For å hjelpe operatøren med å unngå dårlige manøvrer, ble objektdeteksjon med Yolo5 implementert og lagt til de mottatte dataene. Alt dette ble senere samlet, automatisert og presentert i et grafisk grensesnitt tilgjengelig for operatøren.

The promise of autonomous technology has long been tempting. It has the potential to transform our experience of travel, remove people from high-risk working environments, help with transport, streamline our industries and more. Self-driving vehicles are slowly but surely starting to become a reality despite the many obstacles still to be overcome. Especially in aspects such as object detection in bad weather, fully autonomous control, reaction to sudden issues or unpredicted situations where the vehicle can end up doing harm. In all of those situations, it is important to have the possibility to take manual control over the vehicle in order to safely bring it back to a normal state or condition. This thesis aims to explore and determine how to build such an operator-assistance system for real-time remote control of AV and show its feasibility of it.

Different methods were used when exploring possible implementations of the system such as connection, control, object detection, steering, video transmission and a GUI for the operator. The result was an operator-assistance system built on top of an Nvidia Drive platform on a full-scale electric KIA Niro and an ARM-based Linux computer, NVIDIA DRIVE AGX Xavier. The connection between the operator and the autonomous vehicle was realized through Wireguard VPN over a 5G cellular network with a specialized 5G router mounted into the car, in order to minimize transmission delay and jitter. By further using ROS as a base for controlling and sending data it was made possible to remote control the AV and transmit video. In order to integrate an operator assistant in the future, and help avoid bad manoeuvres, object detection with Yolo5 was tested, implemented and added to the received data. All of this was later collected, automated and presented in a graphical interface available for operator.