Automatic Detection of Safe Landing Areas for Vertical Take-Off and Landing Unmanned Aerial Vehicles

Abstract

De siste årene har droner blitt hverdagslige. På grunn av rimeligere og mer avansert elektronikk har droneteknologi, som en gang var forbeholdt forsvarssektoren og andre store institusjoner, blitt kommersielt tilgjengelig for mindre bedrifter og privat bruk. I dag benyttes droner innen mange områder, fra fornøyelse og kappløp til inspeksjoner og transport. En av bedriftene som tilbyr leveransetjenester ved bruk av drone er det norske selskapet Aviant, som er samarbeidspartneren for denne oppgaven.

Når en utfører droneoperasjoner som er utenfor visuell synslinje, er et viktig sikkerhetstiltak å ha forhåndssbestemte landingspunkter langs flyruten. Dersom noen problemer skulle oppstå, kan dermed dronen lande på disse landingspunktene. I dag bestemmer aktører slik som Aviant disse punktene manuelt ved bruk av digitale kart. I denne oppgaven introduserer vi to dyp lærings-baserte systemer som automatisk kan detektere trygge landingsområder for ubemannede droner. For å gjøre dette benytter vi et nedovervendt kamera som viser terrenget under dronen.

Å detektere landingsområder for droner er allerede et område som har blitt forsket mye på. Likevel er det lite av denne forskningen som benytter metoder basert på dyp læring. Vi ønsker derfor å utforske dette i denne oppgaven. I tillegg til systemene nevnt tidligere, presenterer vi også en PCA-basert metode for fargegjenoppretting som kan korrigere farger i bilder og en piksel-geolokator som kan oversette piksler fra bildene til GPS koordinater. Vi presenterer også et merket datasett som består av dronevideoer, i tillegg til et syntetisk datasett som inneholder bilder av mennesker i fugleperspektiv. Vi introduserer også en metode for å bruke systemet for deteksjon av landingspunkter til å validere de manuelt utvalgte landingspunktene.

Selv om systemene for å detektere trygge landingpunkter som presenteres i denne oppgaven er i stand til å finne gode landingspunkter, er de ikke pålitelige nok til å kunne operere helt autonomt. Likevel er de egnet til å operere med litt menneskelig tilsyn, og med mer arbeid og forskning kan de muligens operere helt autonomt.

In recent years, drones have become household objects. Due to cheaper and more advanced electronics, drone technologies which once were exclusive to militaries and other large institutions have become commercially available for smaller companies and even private use. Today, drones are being used in many applications ranging from recreation and racing to maintenance inspections and transport. One of the companies providing transportation services using drones is the Norwegian company Aviant, which is the collaboration parter of this thesis.

When performing drone operations such as transport in \ac{BVLOS} scenarios, an important security aspect is to have predetermined rally points along the flight path. These rally points represent safe landing areas that the drone can land on if any issues were to occur. Today, companies such as Aviant plot these landing areas manually using digital maps. In this thesis, we introduce and compare two deep learning-based systems that can automatically detect safe landing areas in the context of vertical take-off and landing unmanned aerial vehicles using an onboard, downward-facing camera.

Detecting safe landing areas for drones is a well explored field. However, limited research exists using deep learning-based approaches, and we therefore wish to explore this field in this thesis. In addition to the systems mentioned above, we also present a PCA-based color mapping technique capable of correcting colors in images and a pixel geolocator capable of translating image pixels into GPS coordinates. Furthermore, we present a labeled drone-video dataset, in addition to a synthetic dataset containing aerial images of people. We also introduce a method for using the safe landing area detection system to validate manually chosen rally points.

Even though the SLAD systems presented in this thesis are capable of successfully detecting good landing areas, they are not considered robust enough to operate fully autonomously. However, they can operate with minimal human oversight, and with some further work, possibly fully autonomously.