Domain-Independent Perception for Autonomous Driving

Abstract

Idéen om at et kjørtetøy kan kjøre helt autonomt har vært et aktivt forskningsspørsmål i mange år --- og har vært forsket på helt siden man begynte å studere kunstig intelligens. Med nevrale nettverks økende popularitet på 2010-tallet, ble det samtidig publisert mye nytt og spennnende om bruk av ende-til-ende-nettverk for imitasjonslæring. I motsetning til klassiske metoder for autonom kjøring, lærer ende-til-ende-nettverkene å kjøre ved å imitere en ekspert-sjåfør; dette gjøres ved å kun se på opptak av kjøredata.

I denne masteroppgaven bygger vi på flere lovende resultater innen ende-til-ende-kjøring, og vi implementerer et nevralt nettverk som kan kjøre både i simulator og i virkeligheten. I relatert arbeid har det ofte blitt brukt rene RGB-bilder for å gi kjøresystemet sitt en forståelse av omgivelsene, men denne framgangsmåten støtter ikke overføring av kjøresystemet fra simulator til virkelighet, eller omvendt. Vi utforsker teknikker som kan åpne opp for å trene en modell i simulator for så å bruke den på ekte kjøretøy, i gitte tilfeller uten å trenge noen finjusteringer i det hele tatt. Vi prøver å løse dette domene-overføringsproblemet ved å lage en todelt arkitektur. Den første delen er en persepsjonsmodell som lager generaliserte segmenterings- og dybdeprediksjoner, og den andre er en kjøremodell som lærer å kjøre fra det mer abstrakte resultatet fra persepsjonsmodellen.

I vårt første eksperiment prøver vi ut forskjellige designvalg for persepsjonsmodellen, og vi finner ut at en MobileNet + SegNet-modell gir den beste kombinasjonen av høy treffsikkerhet og lite komputasjonelt arbeid. Videre konkluderer vi med at en persepsjonsmodell som både lærer segmenterings- og dybdeprediksjon yter best. I vårt andre eksperiment tester vi ulike persepsjonsmodeller ved hjelp av vår kjøremodell, dette for å forstå hvordan forskjellige persepsjonsmodeller påvirker reell kjøring. Vi evaluerer syv kjøremodeller i en simulator for autonom kjøring, og konkluderer med at de som tar nytte av både segmenterings- og dybdedata kjører best.

The idea of vehicles driving autonomously has been an ongoing topic of research ever since the inception of artificial intelligence. With the big resurgence of neural networks in the 2010s, new approaches using end-to-end imitation learning began to surface. In contrast to classical autonomous driving methods, the end-to-end neural network learns to drive by imitating an expert driver, learning from the recorded driving data alone.

In this thesis, we build on several promising results from the end-to-end autonomous driving research field, and implement a neural network for driving both in simulation and in the real world. Other authors often use raw RGB images to give their driving system an understanding of the surrounding environment, but that approach does not support transfer of the system to the real world. We investigate techniques for being able to train a model in a simulator, and then deploy it to the real world, in some cases without any additional fine-tuning. We approach this problem of domain transfer by creating a two-part architecture: a perception model, which creates generalized semantic segmentation and depth maps; and a driving model, which learns to drive from the more abstracted outputs of the perception model.

Our first experiment explores different design choices for the perception model, finding that a MobileNet + SegNet model gives the best predictions relative to computational costs. Furthermore, we find that multi-task learning with segmentation and depth predictions further improves the perception model. In the second experiment, we test multiple perception models in a simulated driving environment, to learn how different perception models affect real driving. We evaluate seven models in an autonomous driving simulator, and find that predicting both segmentation and depth leads to the best driving performance.

Finally, we deploy our model to a real-world environment --- using a small four-wheeled vehicle in a closed track mimicking real roads. We show that our perception model abstracts away the visual differences between a simulator and the real world, and allows for a driving model only trained in simulation to perform simple driving in real-life as well.