Perception and High-Level Control for Autonomous Drone Missions

Abstract

Denne oppgaven presenterer et autonomt drone-system som muliggjør for en drone å gjennomføre autonome oppdrag som starter og slutter på en bestemt landingsplattform.

En tilstandsestimeringsalgorimte er laget for å estimere dronens position og rotasjon i henhold til landingsplattformen. Algoritmen bruker et fler-sensor Kalman Filter for å kombinere sensormålinger fra forskjellige sensorer og metoder; en tilstandsestimator basert på tradisjonelle datasynmetoder, en tilstandsestimator basert på dyp-læring, IMU data, høydesensor basert på trykkdata og GPS-målinger.

En PID-regulator er brukt for lavnivå-regulering av dronen ved å gi fartsstyringskommandoer til et innebygd reguleringssystem på dronen. Fartsstyringsskommandoene er regnet ut i fra feilmarginen mellom estimert posisjon og rotasjon og ønsket posisjon og rotasjon.

Et oppdragsreguleringssystem er foreslått for høynivå-regulering av dronen, og brukes for gjennomføringen av autonome droneoppdrag. Oppdragsreguleringssystemet er basert på en tilstandsmaskin, hvor et oppdrag består av utførelsen av flere sekvensielle handlinger definert ut i fra tilstandene i tilstandsmaskinen. Tilstandene representerer bevegelse- og kamerahandlinger.

Dette autonome dronesystemet er overført til a Parrot AR.Drone 2.0 og er tested i en datasimulator og eksperimentelt. GPS-data er bare tilgjengelig i datasimulatoren.

Resultater fra datasimulatoren var gode, hvor dronen klarte presist å estimere sin egen posisjon og rotasjon, og bruke dette for å gjennomføre autonome lette- og landeoppdrag, samt autonome langdistanseoppdrag.

Resultater fra eksperimenter med dronen Parrot AR.Drone 2.0 demonstrerte suksessfulle lette- og landeoppdrag på landingsplattformen, og demonstrerte også en evne til å sveve kontrollert over landingsplattform over tid. Autonom sveving og landing var demonstrert også når landingsplattformen var plassert på en liten båt som heter DNV GL ReVolt.

De eksperimentelle resultatene var i større grad påvirket av sensorstøy, kommunikasjonsforsinkelser og eksterne påvirkninger. Dermed var dronens oppførsel mindre stabil enn i datasimulatoren.

An autonomous quadcopter system is proposed in this thesis, enabling a quadcopter to perform autonomous missions starting and ending on a specified landing platform.

A pose estimation algorithm is developed for estimating the quadcopter's pose in relation to a specified landing platform. It uses a multi-sensor Kalman Filter for fusing measurements from a traditional computer vision method pose estimation, a deep learning-based computer vision method for pose estimation, IMU data, barometric pressure data and GPS measurements.

A PID-controller is used for low-level control of the quadcopter, providing velocity commands to an on-board quadcopter controller based on the errors between the estimated- and the desired pose.

A mission control system is proposed for high-level quadcopter control, used for completing autonomous quadcopter missions. The control system is based on a finite state machine approach, where a mission is constituted of sequential execution of actions defined by a set of states, where the states represent movement- and camera actions.

The autonomous quadcopter system is applied to a Parrot AR.Drone 2.0 and is tested extensively both in simulations and experimentally. GPS is only available in simulations.

Encouraging results were seen in simulations where the quadcopter system accurately estimated the quadcopter's pose and used this pose for autonomous take-off and landing missions and autonomous long-range missions.

Experimental results with the Parrot AR.Drone 2.0 demonstrated successful autonomous take-off and landing mission on a landing platform, as well as being able to hover above the landing platform. Autonomous hovering and landing were successfully demonstrated on the landing platform mounted on the DNV GL ReVolt marine vessel.

Experimental results were subject to more sensor noise, a longer communication delay and more disturbances than simulation results making the quadcopter flight response less stable than in simulations.