Maritime Small Object Detection from UAVs for Autonomous SAR Missions using Deep Learning-based Approaches

Abstract

I maritim sammenheng finnes det ikke noe bedre alternativ enn autonom visuell intelligens om bord for å dekke store områder for overvåkings-, søke- og gjenopprettingsoppdrag. De fleste datasynalgoritmer sliter imidlertid med deteksjon av små objekter, noe som er en viktig utfordring å løse for visuell autonomi fra luften. Denne avhandlingen utforsker utviklingen av teknikker for deteksjon av små objekter i maritim kontekst ved hjelp av dyp læring. Det primære målet er å forbedre overvåkings- og kontrollfunksjonene i maritime aktiviteter uten store beregningsutgifter, der små objekter spiller en viktig rolle. To tilnærminger presenteres: høydebevisst dynamisk romlig flislegging for å forbedre nøyaktigheten og redusere minnebehovet. I tillegg presenteres en anomalibasert detektor for semiovervåket objektdeteksjon.

Den dynamiske fliseleggingstilnærmingen innebærer romlig skalering av inngangsbildene og deretter inndeling av inngangsbildet i mindre fliser, noe som muliggjør mer fokusert deteksjon og sporing av små objekter. De foreslåtte systemarkitekturene og resultatene fra felteksperimenter viser at denne tilnærmingen er svært effektiv for deteksjon av små objekter og raskere inferens.

I den andre tilnærmingen brukes en VAE-anomalidetektor (Variational Autoencoder) til å identifisere avvikende regioner i den maritime scenen. Denne metoden bidrar til å identifisere interessante regioner (ROI-er), og ved hjelp av en annen flisleggingsteknikk som vi har utviklet, forbedrer dette effektiviteten ved deteksjon av små objekter betydelig. Opplæringsprosessen og ytelsesevalueringen av denne tilnærmingen diskuteres grundig, inkludert en sammenligning med tradisjonelle metoder som OpenCV.

Resultatene fra begge metodene viser at de har potensial til å detektere små objekter i maritim kontekst.

(\textit{Translated with www.DeepL.com/Translator})

In the maritime context, to cover large area for surveillance, search and recovery missions, there is no better alternative to onboard autonomous aerial visual intelligence. However most computer vision algorithms struggles with small object detection which is a key challenge to solve for aerial visual autonomy. This thesis explores the development of techniques for detecting small objects in maritime context using deep learning. The primary objective is to improve surveillance and monitoring capabilities in maritime activities without huge computational overhead, where small objects play a significant role. Two approaches are presented: altitude aware dynamic spatial tiling for improving accuracy and reducing memory demand. Additionally, an anomaly based detector for semi supervised object detection.

The dynamic tiling approach involves spatially scaling the input images and then dividing the input image into smaller tiles, allowing for more focused detection and tracking of small objects. The proposed system architectures and the findings from field experiments demonstrate significant effectiveness of this approach for small object detection and faster inference.

In the second approach, a VAE (Variational Autoencoder) anomaly detector is employed to identify anomalous regions within the maritime scene. This method helps identify regions of interest (ROIs), aided with another input tiling technique we developed, this significantly enhance the efficiency of small object detection. The training process and performance evaluation of this approach are thoroughly discussed, including a comparison with traditional methods such as OpenCV.

The results obtained from both approaches showcase their potential in accurately detecting small objects in maritime context.