Improving Performance of Autonomous Driving in Simulated Environments Using End-to-End Approaches

Abstract

I de siste årene har forskningen og utviklingen av autonome kjøretøy økt. Takket være gjennombrudd innen dyp læring, så har ende-til-ende-tilnærmingen blitt en realistisk og kostnadseffektiv løsning for å skape selvkjørende kjøretøy. I ende-til-ende-tilnærmingen blir hele kjøreoppgaven lært av ett enkelt nevralt nettverk. Disse nevrale nettverkene kan bli trent ved enten imitasjonslæring eller forsterknings-læring.

Learning by Cheating (LBC) er en imitasjonslærings-metode som har vist seg å være effektiv for å trene nevrale nettverk for selvkjørende kjøretøy. Denne metoden trener et nettverk som tar inn RGB-bilder og gir ut en sti som kjøretøyet skal følge. CARLA-simulatoren blir brukt til å trene og evaluere nettverk. Denne simulatoren gir et fleksibelt og trygt miljø for å kunne utvikle selvkjørende-kjøretøy-modeller raskt.

Modellene i en ende-til-ende-tilnærming vil vanligvis lære å oppfatte omgivelsene ved å prosessere RGB-bilder. Det er også mulig å gi modellene eksplisitte mellomrepresentasjoner. Forskning viser at ved å bruke metoder fra datasyn, som for eksempel semantisk segmentering og dybdeestimering, så kan modellene generalisere bedre og øke ytelsen.

Denne masteroppgaven undersøker om man kan øke ytelsen av nettverk ved å bruke eksplisitte mellomrepresentasjoner i LBC-metoden. Det første eksperimentet viser at LBC kan gjenskapes i den nyeste versjonen av CARLA (0.9.11). Det andre eksperimentet viser at ytelsen og generaliseringen av nettverk økes betraktelig ved å bruke perfekte eksplisitte mellomrepresentasjoner. Disse representasjonene er gitt direkte av simulatoren. Det tredje eksperimentet viser at nettverk også generaliserer bedre når de får mellomrepresentasjoner som er generert av trente oppfatnings-modeller.

Det blir også undersøkt om man kan øke nettverks-ytelsen ved å legge til en fase med forsterknings-læring. Et forsøk ble gjort på å forbedre nettverkene videre med Proximal Policy Optimalization, men dette viste seg å være utfordrende.

In recent years, autonomous vehicles have been subject to increased research and development. Due to recent advances in deep learning, the end-to-end approach has become a viable and cost-effective solution to creating autonomous driving systems. In the end-to-end approach, the complete task of autonomous driving is learned by a single comprehensive neural network. These networks can be trained by imitation learning or reinforcement learning methods.

Learning by Cheating (LBC) is an imitation learning approach which has proved to be effective for training neural networks for autonomous driving. This approach trains a network that uses RGB images as input and outputs a trajectory for the vehicle to follow. It uses the CARLA simulator to train and evaluate networks. This simulator provides a flexible and safe environment for quickly developing autonomous driving systems.

The models in end-to-end approaches will usually learn to perceive the scenery by processing RGB images. It is also possible to equip the models with explicit intermediate representations. Research shows that by using methods from computer vision, such as semantic segmentation and depth estimation, models can generalize better and increase task performance.

This thesis examines if using explicit intermediate representations can improve the performance of networks trained with the LBC approach. In the first experiment, the results show that LBC is reproducible in the latest version of CARLA (0.9.11). In the second experiment, it is shown that the performance and generalization of the networks increase significantly when using perfect explicit intermediate representations, which are supplied by the simulator. The results from the third experiment show that the networks also generalize better when using intermediate representations generated by trained perception models.

It is also investigated if the performance of the networks can be improved by using an additional reinforcement learning stage. An attempt was made to improve the networks further with proximal policy optimization, but this was found to be difficult.