Camera-Based Perception System for Autonomous Drones in Search-and-Rescue Missions at Sea

Abstract

En av de største utfordringene i søk og rednings-operasjoner til sjøs er å lokalisere mennesker i mulige store områder. Mens helikoptre tradisjonelt sett har blitt brukt for å få et fugleperspektiv under søk i sjøen, har luftbårne droner de siste årene blitt et godt alternativ ettersom de har blitt både billigere og mer anvendelige. Dronene bør helst være autonome for å kunne levere verdifull informasjon til redningsteamet uten å være en byrde.

Denne oppgaven har som mål å utvikle et kamerabasert situasjonsbevisst persepsjonssystem for en autonom drone. Persepsjonssystemet er delt inn i fire hoveddeler: en helipad sporingsmodul, en søkemodul, en modul for å generere sikre landingspunkter og en modul som utfører georeferering. helipad sporingsmodulen kombinerer to kamerabaserte posisjonsestimater i et modellbasert Kalman-filter sammen med GNSS-målinger, hastighetsmålinger, og høydemålinger for å estimere posisjonen til en helipad i løpet av et oppdrag. Søkemodulen oppdager og sporer mennesker og flytende objekter ved å kombinere en dyp læring-basert detektor med flerobjektsporing. I tilfelle der det blir bekreftet en menneskedeteksjon, georefererer systemet deteksjonen sammen med en alvorlighetsgrad. Til slutt kombinerer modulen for sikre landingspunkter sanntidsbildeinformasjon og kartdata for å finne trygge landingspunkter for dronen. De trygge landingspunktene blir også georeferert.

Systemet er testet i eksperimenter ute, og funnene i oppgaven indikerer at det fullstendige persepsjonssystemet er i stand til å levere verdifull informasjon. Helipadens posisjon estimeres med god nøyaktighet i løpet av dronens oppdrag. Videre er søkemodulen i stand til å oppdage og spore både mennesker og flytende objekter ved tilstrekkelig høy flygehøyde. For å øke søkemodulens ytelse bør detektoren trenes med nye data for å øke dens deteksjonsegenskaper i et større høydeintervall, og en flerobjekts-sporer med reidentifikasjonsegenskaper bør undersøkes videre. Sikre landingspunkter genereres på hensiktsmessige steder, men det foreslås forbedringer for å øke sanntidsegenskapene til modulen i et større høydeintervall. Nøyaktigheten til de georefererte posisjonene er tilfredsstillende gitt nøyaktigheten til dronens GNSS-målinger.

One of the largest challenges in Search And Rescue (SAR) operations at sea is to locate people in possibly vast areas. While helicopters traditionally have been used to get an aerial view while searching the sea, aerial drones have in later years become a good alternative as they become both cheaper and more capable. The drones should advantageously be autonomous to deliver valuable information to the rescue team without being a burden.

This thesis aims to develop a camera-based situational awareness perception system for an autonomous drone. The perception system is split into four main submodules; a helipad tracker, a search module, a safe landing point generator module, and a module that performs georeferencing. The helipad tracker combines two camera-based position estimators in a model-based Kalman filter with GNSS, velocity, and altitude corrections in order to track the position of a helipad during the extent of a mission. The search module detects and tracks humans and floating objects by combining a deep learning-based detector with multi-object tracking. In the case of confirmed human detection, the system georeferences the detection together with a severity level. Finally, the safe landing point generator module combines real-time image data and offline map data to locate safe landing points for the drone. The safe points are also geo-referenced.

The system is tested in real-world experiments, and the thesis findings indicate that the full perception system is able to provide valuable information. The helipad is tracked with good accuracy for the extent of drone operations. Furthermore, the search module is able to detect and track both humans and floating objects given a large enough flight altitude. In order to increase the search modules' performance, the detector should be retrained with new data to increase its altitude range and a multi-object tracker with re-identification properties should be further investigated. Safe landing points are generated at reasonable locations, however, suggestions are proposed to further increase the real-time properties of the submodule in a larger altitude range. The accuracy of the geo-referenced locations is adequate given the accuracy of the drone's GNSS measurements.