Exploring Domain Shift with Autonomous Driving Agents in Simulated and Real Environments

Abstract

Fagfeltet rundt autonome kjøretøy har sett stor fremgang de siste årene, men storskala utrulling av selvkjørende biler finnes fortsatt ikke. Studier viser at trafikkulykker er den ledende dødsårsaken for personer i alderen 5 til 29 år over hele verden, og i 2016 nådde antall omkomne i trafikken 1,35 millioner. Menneskelige feil er årsaken til 92% av trafikkulykker. Selvkjørende biler kan bidra til å redusere disse ulykkene. De kan i tillegg redusere kostnadene betydelig for transport av mennesker og varer. Andre fordeler de kan gi er økt produktivitet under reise, bedre mobilitet for mennesker uten førerkort, lavere energiforbruk og mindre forurensing.

Utrullingen av autonome kjøretøy krever omfattende testing for å ivareta sikkerheten til både passasjerer og trafikanter. Mens testing i den virkelige verden gjenspeiler det autonome systemets evner mest nøyaktig, er simulatorer ofte benyttet under utvikling på grunn av lavere maskinvarekostnader, raskere prototyping og tryggere testomgivelser. Samtidig kan dette introdusere en domeneforskyvning når systemene utsettes for nye omgivelser, noe som kan føre til feilaktige eller farlige oppførsler når de brukes i den virkelige verden. Denne oppgaven undersøker innvirkningen av domeneforskyvning på to "state-of-the-art"-modeller trent i en simulator for autonome kjøretøy med åpen kildekode kalt CARLA. TransFuser og InterFuser er to av modellene med best resultater på CARLA Leaderboard. De er ende-til-ende modeller for autonom kjøring basert på imitasjonslæring, som har som mål å lære sikker punkt-til-punkt-navigasjon i urbane omgivelser. Vi starter med å trene og evaluere ytelsen deres i inkluderte CARLA-benchmarks, før vi deretter evaluerer dem på data innhentet av NAPLab fra den virkelige verden.

Resultatene våre viser suksess i å reprodusere ytelsen til TransFuser og InterFuser i simulatorevalueringene. Vi trener nye modeller med en sensorkonfigurasjon tilsvarende NAPLabs bil, og viser at dette øker kjøreytelsen på den virkelige kjøredataen, på grunn av den reduserte domeneforskyvningen. Eksperimentene er utført på en reproduserbar måte for å muliggjøre videre arbeid med forskningen vår. Til slutt foreslår vi flere forbedringspunkter til fremtidig arbeid basert på kunnskapen som er oppnådd i denne oppgaven.

The field of autonomous driving has seen great progress in recent years, but large-scale deployment of fully self-driving vehicles is not currently present. Studies show that road traffic accidents are the leading cause of death for people aged 5 to 29 years worldwide, with the number of road traffic deaths in 2016 reaching 1.35 million. Human driving errors are also the cause of 92% of road accidents. Self-driving vehicles could help reduce these accidents. In addition, they can significantly reduce transportation costs for both humans and goods. Other possible benefits are increased productivity during travel, improved mobility options for non-drivers, and lower energy consumption and pollution.

The deployment of autonomous vehicles requires extensive testing to ensure the safety of both passengers and road users. While real-world testing most accurately reflects the autonomous system’s capabilities, simulators are often utilized during development because of their reduced hardware costs, faster prototyping, and safer testing environments. However, this can introduce a domain shift when systems are exposed to new environments, possibly leading to flawed or unsafe behaviors when used in the real world.

This thesis investigates the impact of domain shift on two state-of-the-art models trained in the CARLA autonomous driving simulator. TransFuser and InterFuser, two of the top performers on the CARLA Leaderboard, are end-to-end models for autonomous driving that use Imitation Learning to achieve safe point-to-point navigation in urban settings. We first train and evaluate their performance in included CARLA benchmarks, then evaluate them on real-world driving data provided by NAPLab.

Our results show success in reproducing the performance of TransFuser and InterFuser in the simulator benchmarks. We train new models with a sensor configuration that matches that of the NAPLab vehicle, and show that this increases the driving performance on the real-world driving data, due to the reduced domain shift. The experiments are implemented in a reproducible manner to enable further work on our research. Finally, we include multiple suggestions for future work based on the knowledge gained in this thesis.