Fjernstyring av kjøretøy over 5G/4G

Abstract

I denne rapporten undersøkes mulighetene for fjernstyring av kjøretøy over 5G/4G, der hovedfokus er utfordringer knyttet til forsinkelse i video og styringssignal. Videre vektlegges også den subjektive brukeropplevelsen ved styring av kjøretøyet, dette for å gi en totalvurdering av systemet.

Prosjektet er gitt av Yara og er en del av EU prosjektet ’5G-SOLUTIONS’ delprosjekt ’UC3.5: Autonomous assets & logistics for smart port’. 5G-nettet til Telenor benyttes og prosjektet er et ’proof of concept’ for fjernstyring av kjøretøy over 5G/4G.

Det er benyttet en Arduino som motorkontroller, festet på et egetdesignet kretskort med en logikk-konverteringskrets. For montering på kjøretøyet er det designet en 3D-printet brakett, med monteringsmuligheter for kretskort, Raspberry Pi, kamera og antenner.

For nettverkskommunikasjon og video-prosessering er det benyttet to Raspberry Pi, en på pilot-siden og en på kjøretøyet. Bilen styres ved hjelp av ratt og pedaler og piloten mottar direktevideo fra bilens perspektiv.

Hvordan minimere videoforsinkelsen har vært en stor utfordring i prosjektet. GStreamer har vist seg å være den beste løsningen, og benyttes derfor i alle ledd av videokommunikasjon. Nettverkskoden er utviklet i C++ og motorkontrolleren er utviklet i AVR-C.

Videre er egenutviklede tester brukt for å tallfeste video- og styringssignalenes forsinkelse. Testmetoder som er brukt er ping-test, signaltest med ekstern stoppeklokke og glass-to-glass test av video.

Resultatene fra test av forsinkelse viser at overføring via 5G gir medianverdier på cirka 123 ms for video, og cirka 35 ms for styringssignal. Overføring via 4G gir noe høyere verdier, henholdsvis cirka 133 ms og cirka 39 ms.

Subjektivt oppleves det at piloten har god kontroll over kjøretøyet. En viktig grunn til dette er valg av ratt, pedaler og racingstol for fjernstyring.

In this report, the feasibility of controlling a vehicle remotely over 5G/4G is explored. The main focus is latency in regard to video- and control signals. The subjective experience of controlling the vehicle is also discussed, in order to give a complete assessment of the system.

The project is given by Yara, and is a part of the EU-project ’5G-SOLUTIONS’, subproject ’UC3.5: Autonomous assets & logistics for smart port’. Telenor’s 5Gnetwork is used, and the project is a ’proof of concept’ for proving the feasibility of operating vehicles remotely over 5G/4G.

An Arduino is being used as motor control unit (MCU), mounted on a self-designed PCB. For mounting on the vehicle, a 3D-printed bracket is designed. This allows for mounting of the PCB, Raspberry Pi, camera, and antennas.

Network communication and video processing is done by two Raspberry Pis, one on the pilot side and one on the vehicle. The vehicle is controlled by steering wheel and pedals, while the operator receives live video from the perspective of the vehicle.

How to minimize video latency has proved to be a challenge. GStreamer has been found to be the best solution, and is therefore used in all aspects of video communication. The network code is written in C++ and MCU software in AVR-C.

Furthermore, self-developed tests are used to benchmark the latency of the videoand control-signal. Tests used include ping test, measurements of signal latency with the help of an external microcontroller for time-measurement, and glass-toglass test of video.

Testing show that transmission by 5G gives median latency values of approximately 125 ms in the case of video, and approximately 35 ms in the case of control signals. Transmission by 4G results in higher values, approximately 135 ms in the case of video, and 39 ms in the case of control signals.

Subjectively, there is a feeling of being in control when operating the vehicle.