Learning-Based Collision Avoidance for Micro Aerial Vehicles in Confined Environments

Abstract

I denne mastergradsoppgaven presenterer vi en ny måte å navigere et ubemannet flygende fartøy i trange omgivelser ved hjelp av laserbaserte avstandsmålere. Vi bryter denne navigasjonsprosessen inn i to deler, persepsjon og kontroll. I den første delen som omhandler persepsjon, viser vi en ny måte å komprimere punktskydata ved hjelp av en lærings-basert metode. Denne punktskyen definerer hvordan de nære omgivelsene til fartøyet ser ut topologisk, fra synspunktet til fartøyet selv. Den ubehandlede datastrømmen fra den laserbaserte avstandsmålingen blir komprimert med 3 størrelsesordener etter å ha blitt behandlet av vår kompresjonsmetode. Målet med denne kompresjonen er å hente ut de viktigste topologiske egenskapene til de nærliggende omgivelsene slik at en kontrollalgoritme ikke skal trenge å bruke tid på å finne disse egenskapene selv. Svakheten til denne kompresjonsalgoritmen er at den foreløpig kun har høy virkningsgrad i et begrenset knippe med typer miljøer og objekter. Videre utvikling trengs for å få denne algoritmen til å generalisere til mer komplekse og usette miljøer. Når punktskyen har blitt komprimert av persepsjonsmodulen, blir dataen videreført til kontrollalgoritmen. Denne modellen er parametrisert som et nevralt nettverk, og sammen med den komprimerte punktskyen blir den matet fartøyets relative posisjon i forhold til målet den skal til, samt dens egen hastighet. Modellen blir så lært å fly kollisjonsfritt gjennom to separate prosesser; læring gjennom imitasjon og belønningsbasert læring gjennom utforskning. Gjennom disse læringsprosessene blir modellen implisitt lært til å unngå kollisjoner, ved å optimere kontrollfunksjonen for å fly uten å kollidere med overflater i miljøet. Vårt arbeid indikerer at denne modellen er i stand til å hente en forståelse om de nærliggende omgivelsene fra den komprimerte punktskyen fra persepsjonsmodulen. Navigasjonsalgoritmen vi presenterer i denne oppgaven kjører med en konstant hastighet på rundt 12 Hz, i motsetning til tradisjonelle metoder der hastigheten varierer mye med både tid og kompleksiteten til miljøet fartøyet befinner seg i. Imidlertid er det fortsatt et sett med utfordringer som må løses før denne navigasjonsalgoritmen konsekvent leverer like gode resultater som de tradisjonelle metodene vi bruker som sammenligningsgrunnlag. For å trene og evaluere agentens evnen til å utføre kollisjonsfrie baner, samt generere datasett for å trene kompresjonsalgoritmen, brukte vi simuleringsverktøy. Dette lot oss kontinuerlig monitorere ytelsen til kompresjonsalgoritmen ved å kunne følge med på den rekonstruerte representasjonen av omgivelsene, i tillegg til å kunne observe hvilken bane den lærings-baserte agenten valgte.

This thesis explores a method of solving the local path planning and control problem in an End-to-end fashion using learning-based methods. We present a novel compression algorithm that substantially reduces the dimensionality of the raw point cloud data from a 3D laser scanning sensor using a Convolutional Variational Autoencoder. The strength of such a compression algorithm is a radical reduction in dimensionality, which results in the data stream being reduced in size by three orders of magnitude. The weakness of the compression algorithm is its limitation to only work in a subset of object types and environments. Further work needs to be done to be able to generalize to more complex environments. This compressed representation of the immediate environment is fed to a learning-based agent, parametrised as a neural network, together with the direction of the desired setpoint and the MAV speed. This agent is then taught through both Imitation Learning and Reinforcement Learning to decode this compressed representation of the environment to be able to execute collision-free trajectories. Our work indicates that the agent is able to infer a geometric understanding of the environment from the heavily compressed representation. Furthermore, the algorithm executes at a constant frequency of about 12 Hz, as opposed to traditional graph-based methods where the frequency varies greatly with both time and the complexity of the environment. However, several challenges are yet to be solved in both the perception and the control part of this thesis before this algorithm is able to provide collision-free trajectories as consistently as the graph-based local planner we use as baseline. We used simulation to train and evaluate both the Convolutional Variational Autoencoder's performance and the agent's ability to execute collision-free trajectories. This let us continually monitor the performance of the CVAE by looking at the reconstructed point clouds, as well as observing the trarjectories of the agent.