End-to-end deep learning for autonomous driving

Abstract

Dyp læring har sett stor progresjon på bakgrunn av mer tilgjengelige data og økt datakraft. Dette har ført til store fremskritt på flere felt som for eksempel bildeklassifisering og objektdeteksjon.

Fremskrittene har også funnet veien til bilindustrien, og selskaper som Tesla, Waymo og Über jobber hardt for å utvikle selvkjørende biler.

De har oppnådd gode resultater de siste årene, men deres fremgang er ikke offentlig tilgjengelig. Ved hjelp av denne oppgaven håper jeg å kunne bidra til mer offentlig tilgjengelig kunnskap om selvkjørende biler. Oppgaven undersøker ende-til-ende læring for autonom kjøring i byområder. Sammenlignet med landevei følger kjøring i byområder flere utfordringer som ulike typer kryss, kjøretøy og fotgjengere. Oppgaven er kompleks og introduserer utfordringer knyttet til ende-til-ende arkitekturer.

Artikkelen End-to-end driving via Conditional Imitation Learning} (F. Codevilla et al. 2018[1]) foreslår en metode kalt betinget etterligning, hvor et nevralt nettverket tar inn ekspertens intensjon om hvor man skal i det kommende krysset som input.

En overordnet intensjon er nødvendige for at et autonomt kjøretøy skal kunne operere i et byområde, og de viste at denne løsningen løste mange oppgaver knyttet til kjøring i byer. Under skrivingen av deres oppgave var simulatormiljøet begrenset når det gjaldt variasjon av trafikkelementer, og dermed kan det bare håndtere en delmengde av hindringene som oppstår i byområder.

Denne oppgaven foreslår et arkitektur som bruker en serie av Convolutional Neural Networks (CNN) som løser oppgaven med å kjøre autonomt ved hjelp av en tidsserie av input, og sammenligner den med et Reccurent neural network og med en normal CNN.

Løsningen ble evaluert ved hjelp av forskjellige baner i en by som ikke ble brukt under treningen, hvor målet er å komme fra en posisjon til en annen uten menneskelige interaskjon. Under kjøring registreres ulike målinger for å evaluere ytelsen til en gitt modell. Resultatene viser at den foreslåtte arkitekturen gjennomførte 50% flere baner enn den normale CNN modellen, basert på de samme forholdene og arkitekturene.

Deep learning has seen a recent advance due to more available data and increased computing power. This has lead to major advances in several fields as for example image classification and object detection. The advances have also made it into the theautomotive industry and companies like Tesla, Waymo, and Über are working hard at developing self-driving cars. They have achieved great results in the past years, but their progress is not publicly available. This thesis will contribute to the publicly available knowledge of self-driving cars. It explores end-to-end learning for autonomous driving in urban areas. Compared to lane-following, driving in urban areas introduce several challenges as various types of intersections, vehicles, and pedestrians. The task is complex and introduces challenges related to end-to-end architectures. The paperEnd-to-end driving via Conditional Imitation Learning(F. Codevillaet al. 2018 [1]) proposed conditional imitation learning, where the network uses high-level commands about the experts’ intention in the upcoming intersection. Expert intentions are necessary for an autonomous vehicle to operate in an urban area, and they proved that this solution solved a lot of the tasks related to driving in cities. During the writing of this paper, the simulator environment was limited in terms of variation of traffic elements, and thus it can only handle a subset of the obstacles encountered in urban areas. This thesis proposes a stacked Convolutional neural network (CNN) that solves the task of driving autonomously using a time series of input and compares it to a recurrent neural network and a simple CNN. The solution was evaluated using different tracks in a town not seen during training, where the goal of the car is to get from one position to another without human interactions. During driving, different measurements are recorded to evaluate the performance of a given model. The results show that using a stackedCNN achieved 50% more tracks compared to a simple CNN, based on the same conditions and architectures.