Autonomous Drone Landing using Deep Reinforcement Learning

Abstract

Landingsproblemet har lenge vært et omdiskutert forskningstema i reguleringsteknikkmiljøet. Et flertall av utviklede systemer har vært sterkt avhengig av omfattende modellering av den kontrollerte prosessen før man utnytter etablerte reguleringsmetoder som har som mål å påtrykke kontrollover som gir ønsket atferd relativt til et spesifisert mål. Som følge av den fornyede tilliten maskinlæring (eng. machine learning, ML) opplever takket være eksponentiell vekst i datamaskiners regnekraft og -kapasitet i senere år, har omfangsrik forskning blitt gjort for å utforske potensialet til ML. Særlig forsterkende læring (eng. reinforcement learning, RL), en gren innen ML, har dratt nytte fra denne fremgangen. Sammen med kunstige nevrale nettverk (eng. artificial neural network, ANN) har klassisk RL blitt utvidet, som har gitt opphav til fremveksten av dyp forsterkende læring (eng. deep reinforcement learning, DRL). I og med at slike DRL-metoder på det generelle plan ikke behøver en modell av prosessen, ble det dermed ansett som interessant å undersøke potensialet til slike teknikker i robotikkapplikasjoner hvor både prosessen og omgivelsene er nevneverdig utfordrende å modellere og predikere. Til tross for at forskningsmiljøer utført omfattende studier rundt temaet, forblir regulering av en drone med fire rotorer en utfordrende oppgave som følge av en rekke grunner. Modellering av tidsavhengige og fluktuerende aerodynamiske krefter, posisjonering i områder hvor man opplever restriksjoner på GPS-signaler, begrensede alternativer for tilstandsestimering og faktum at en drone generelt sett er underaktuert er noen av disse.

Følgelig foreslår denne masteroppgaven et generelt rammeverk for å bruke en DRL-metode for å optimere regulering av en drone for autonom landing. En drone bestående av fire rotorer som prosess ble valgt, hovedsakelig grunnet dens anvendbarhet og bevegelighet, som tillater et bredt spekter av bruksområder. Ved å anvende en DRL-metode som tilbyr ny tilnærming til å løse dronelandingsproblemet, samt et rudimentært planleggingssystem, undersøker oppgaven potensialet DRL har relativt til regulering av droner. To DRL-agenter med spesifikke mål, henholdsvis hovere og synke, ble utformet, trent og testet for trygg, effektiv og kravoppfyllende landing på en landingsplattform i et simulert miljø. Basert på resultatene denne masteroppgaven har kommet frem til viser DRL dens evne til å regulere komplekse, høyt ulineære robotikksystemer uten forhåndskunnskaper om prosessen, ei heller informasjon om det rundtomliggende miljøet. Oppgavens funn fremstiller i tilstrekkelig grad nøyaktig regulering i ukjente omgivelser og bygger under påstanden om at dyp forsterkende læring kan utvikle seg til å bli et rammeverk som erstatter mer tradisjonelle reguleringsmetoder når dette forskningsområdet utvikler seg ytterligere.

The landing problem has been the topic of research for quite some time in the control engineering community. An abundance of the systems developed in the community have relied heavily on extensive modeling of the plant, before employing advanced control methods whose aim is to impose control laws yielding desired behavior with respect to a specified objective. Emanating from the renaissance machine learning (ML) is experiencing due to exponential growth in computational power in recent years, extensive research has been conducted in the community for exploring the potential of ML. Especially reinforcement learning (RL), a branch within ML, has benefited notably from these advancements. Together with artificial neural networks (ANNs), classical RL disciplines were augmented, giving rise to the emergence of deep reinforcement learning (DRL). Since these DRL methods generally do not need modeling of the plant, it was deemed interesting to explore the potential of such techniques in robotic tasks where both plant and environment is particularly challenging to model and predict. Control of a quadrotor, although extensively studied in the research communities, remains a challenging task for a number of reasons. Modeling alternating and time-dependent aerodynamic forces, restrictions on GPS, limited options for state estimation and the fact that a quadcopter often is underactuated are among these.

As such, this thesis proposes a general framework for adopting a DRL method for optimizing control for autonomous landing of a quadrotor. A quadrotor as the plant was chosen mainly due to its applicability and manoeuvrability, allowing several areas of application. By applying a novel DRL algorithm for control accompanied by a rudimentary planning system for solving the quadrotor landing problem, this thesis investigates the promise of DRL methods for drone control tasks. Two DRL agents with the specific objectives of hovering and descending were designed, trained and tested for safe, efficient and satisfactory landing on a helipad in simulated environments. Based on the results obtained in this thesis, DRL showcases its ability to perform control tasks of complex, nonlinear robotic systems without needing prerequisite knowledge on the plant, nor in-depth descriptions on how the environment is affecting the plant. The findings in the thesis exhibit sufficiently accurate control in unknown environments, and plants a seed suggesting that DRL may become the rule rather than the exception as this particular field of study advances.