A Camera-based Perception System for Autonomous Quadcopter Landing on a Marine Vessel

Abstract

Små, ubemannede luftfartøyer (UAVer) har tiltrukket seg mye oppmerksomhet de siste årene, og et av de mest studerte UAVene er quadcopteret. Et quadcopter går også under kategorien VTOL-fartøy som er et begrep som brukes om fartøy som kan ta av og lande vertikalt. Dette gjør at quadcoptere har en fordel når de opererer i områder med lite plass. Sammen med deres høye manøvrerbarhet er de et godt vertøy til å utføre mange oppgaver, slik som inspeksjon, transport av små pakker og overvåkning for søk- og redningsopperasjoner.

For å øke flygetiden og redusere kostnadene ved å manuelt styre slike fartøy, er det i det siste forsket mye på autonome quadcoptre. Deler av en autonom flytur, og særlig landingen, krever et presist posisjonsestimat. Denne oppgaven undersøker et bruksområde hvor landingsplassen er betydelig begrenset når det kommer til størrelse, nemlig å lande på et lite, sjøgående fartøy. I dette tilfellet kan landingsplassen være omtrent på samme størrelse som quadcopteret selv, noe som krever et posisjonsestimat med enda høyere presisjon. I dette tilfellet vil ikke vanlige GPS-målinger være presist nok til å utføre autonom landing. Derfor undersøker denne oppgaven bruken av kamera som hovedsensor å estimere posisjonen til et quadcopter, med forventning om at dette vil gi et bedre estimat.

En landingsplattform er designet og bygget for å fungere som landingsplass i eksperimentene. Den er designet for å etterligne en standard landingsplattform som vanligvis er å finne på sjøgående fartøy og marine installasjoner. Fartøyet som til slutt vil bruke landingsplattformen er modellskipet ReVolt som er laget av DNV GL, så designet er tilpasset for at landingsplattformen skal passe til dette spesifikke skipet.

Et datasyn-system er utviklet med hovedhensikt å estimere quadcopterets posisjon relativt til landingsplattformen. Hovedutfordringen med et datasyn-system på sjøen er mangelen på faste punkter å navigere etter, siden sjøen er i konstant bevegelse. For å løse dette problemet er tradisjonelle datasyn-metoder brukt, blant annet fargesegmentering, deteksjon av kanter og deteksjon av hjørner, for å hente ut allerede kjente kjennetegn på landingsplattformen. Ut fra dette er posisjonen estimert ved bruk av hullkamera-modellen og kjente mål på landingsplattformen. Metodene og algoritmene for posisjonsestimatet er utviklet ved bruk av OpenCV-biblioteket i Python, og datasyn-systemet er integrert inn i rammeverket Robot Operating System (ROS). I tillegg er en bestikkregning-modul utviklet for å gi et estimat basert på interne målinger hos quadcopteret, for bruk når ingen datasyn-estimat er tilgjengelig.

Systemet er testet både i en simulator og med et fysisk quadcopter og landingsplattform, med nøyaktige resultat i simulatoren og lovende, men støyfulle resultat med det fysiske quadcopteret. Til slutt er det gitt noen forslag til forbedringer av metodene og fremtidig arbeid på temaet.

Small Unmanned Aerial Vehicles (UAVs) have attracted a lot of attention in recent years, and one of the more studied UAVs is the quadcopter. A quadcopter is also a Vertical Take- Off and Landing (VTOL) vehicle, meaning that it has an advantage when operating in tight spaces. Combined with their high maneuverability, they are a great tool for many tasks, such as inspection, transportation of small packages and surveillance for search and rescue operations.

To increase the flight time and reduce the cost of manual piloting the vehicles, a lot of research is done recently on autonomous quadcopters. Some parts of the autonomous flight, especially the landing, require a precise position estimate. This thesis investigates an area of application where the landing spot is severely restricted in terms of size, namely landing on a small marine vessel. In this case, the landing spot might be approximately of the same size as the quadcopter itself, requiring an even more precise position estimate.

In this case, regular GPS measurements are not precise enough to perform autonomous landing. Therefore, this thesis investigates the use of a camera as the main sensor for estimating the position of a quadcopter, anticipating that this will give a better estimate. A landing platform is designed and created to serve as the landing spot in the experiments. It is designed to resemble a standard landing platform typically found on marine vessels. The marine vessel that eventually will host the landing platform is the ReVolt model ship created by DNV GL, so design measures are taken to fit the landing platform to that specific ship.

A computer vision system is developed with the main purpose of estimating the quadcopter’s position relative to the landing platform. The main challenge with a computer vision system at sea is the lack of fixed points to navigate by, since the sea is constantly moving. To solve this issue, traditional computer vision methods are applied, such as color segmentation, edge detection and corner detection, to extract the known features of the landing platform. From this, the position is estimated using the pinhole camera model and known measurements on the landing platform. The methods and algorithms for the position estimate are developed using the OpenCV library for Python and the computer vision system is integrated into the Robot Operating System (ROS) framework. In addition, a dead reckoning module is developed to give an estimate based on the inertial measurements of the quadcopter when no computer vision estimate is available.

The system is tested both in a simulator and with a physical quadcopter and landing platform, with accurate results in the simulator and promising, but a bit more noisy results with the physical quadcopter. Finally, some suggestions for improvements of the methods and future work on the topic are given.