Exploring Self-supervised Learning-based Methods for Monocular Depth Estimation in an Autonomous Driving Setting

Abstract

Ideen om å få nevrale nettverk til å automatisk lære seg det vi mennesker vil at de skal lære er det ultimale målet for dyp læring. Denne oppgaven vil vise at vi, for enkelte felt, nærmere enn noen gang for å gjøre dette til en virkelighet.

Denne oppgaven vil gjennomgående utforske de indre mekanismene som gjør det mulig for nevrale nettverk å predikere dybde ved å kun benytte seg av video fra et enkelt kamera. Etter å ha presentert den nødvendige basiskunnskapen vil denne oppgaven introdusere temaet "self-supervised learning"; hva det er og hvordan det kan brukes til å predikere dybde. Når basiskunnskapen er på plass vil oppgaven gi en mer grundig forklaring av noen av de toppmoderne metodene som benytter seg av "self-supervised learning" for å gjøre dybdeestimering, hvor oppgaven vil fokusere på hvordan disse metodenes bidrag forbedret feltet. Disse metodene er testet og validert i gjennom forsøk, hvor de blir trent og testet med dataset hentet fra autonome biler. Resultatene fra disse forsøkene blir diskutert, hvor potensielle feilkilder og mulige løsninger blir presentert.

Videre vil det bli gjort en analyse av hvilke endringer disse metodene vil trenge for å kunne brukes i en selvkjørende bil, sammen med en refleksjon av fremtiden til "self-supervised" dybdeestimering.

Oppgaven vil også presentere en potensiell ny arkitektur basert på resultatene observert i oppgaven. Denne arkitekturen er basert på å sette sammen deler fra de toppmoderne metodene til en ny arkitektur som har stort potensiale til å produsere resultater som kan overgå de toppmoderne metodene.

The idea of a neural network automatically learning the information we as humans want it to learn is the ultimate goal for deep learning due to labeling being both tedious and expensive. This thesis will show that, in specific fields, we are closer than ever to making this a reality.

Throughout this thesis, it will explore the inner workings behind how a neural network can automatically infer depth from only viewing a video from a single camera. After presenting the needed background knowledge, this thesis introduces self-supervised learning, what it is and how it can be trained to predict depth for a monocular video with no previous knowledge. When the required basic knowledge is established, the thesis continues by giving an in-depth explanation of some of the current state-of-the-art methods of doing self-supervised depth estimation, focusing on exploring how their contributions improved the field. These methods are validated through experiments, where they are tested on autonomous driving-focused datasets. The results from the experiments are discussed, where potential sources of error are presented together with potential fixes.

A brief analysis of the required modifications needed to use self-supervised depth estimation methods in an autonomous car is also presented, together with a reflection on the future of self-supervised depth estimation. The thesis will present a potential novel architecture based on the findings and reflections.

This architecture is based on combining features from all the current state-of-the-art self-supervised methods and has the potential to improve the current state-of-the-art.