USV trash detection and tracking using multimodal data fusion

Abstract

Menneskeskapt forurensning er et stort og økende problem på global skala. Dette manifesterer seg over hele verden, hvor en spesifikk situasjon er akkumuleringen av plast og annet ikke-nedbrytbart avfall i hav, elver og innsjøer. Konsekvensene av dette strekker seg fra død av maritimt liv til den irreversible introduksjonen av mikroplast i miljøet vårt. Ettersom kildene til søppelet er mange, må også løsningene for å motvirke problemet være varierte.

Denne avhandlingen har som mål å bidra til en slik løsning, der det ferdige produktet skal være et Ubemannet Overflatefartøy (UOF) i stand til å samle opp søppel i skjermede farvann som havner. Fokuset i avhandlingen er hvordan et UOF kan oppdage og spore flytende søppel under autonom drift. Avhandlingen går først gjennom nåværende UOF-løsninger som er foreslått eller utviklet, samt relevant teknologi som brukes i maritime omgivelser og kan utnyttes for å forbedre ytelsen. Et komplett system for deteksjon og sporing av flytende søppel blir utviklet, basert på en sensorplatform bestående av LiDAR og et monokulært kamera montert på en UOF. Systemet benytter en forhåndstrent Yolov7-modell for objektdeteksjon, en etablert metode for georeferering og en spesialisert LiDAR-filteringsprosess. Målinger fra sensorene (modalitetene) fusjoneres ved hjelp av et Joint Probabilistic Data Association-filter (JPDA) for å produsere spor i en geodetisk referanseramme. En innsats ble gjort for å synkronisere og forene data fra forskjellige kilder. På grunn av svakheter i data-oppsamlingen måtte det i tillegg synkroniseres manuelt.

Ytelsen til det overordnede systemet og de individuelle sensorene ble validert ved hjelp av tre datasett som ble samlet som en del av avhandlingen. Det ble vist at metodene som ble implementert for både kameraet og LiDAR-en hadde potensiale som detektorer, men hver med sine egne svakheter. Metoden for georeferering viste seg å være følsom for forskyvninger i posisjon og vinkel, og skalerte dårlig ved store avstander. LiDAR-en som ble brukt, VLP-16, mistet oversikt over objekter på grunn av lav vertikal oppløsning, noe som også var mer utbredt lengre vekk fra sensoren. JPDA-filteret ble vist å være lovende både når det gjaldt å fusjonere målinger til konsistente spor og for å opprettholde de etablerte sporene selv i mindre ideelle scenarioer. En test i et ukontrollert miljø på Brattørkaia viste at systemet var i stand til å spore objekter på vannoverflaten når UOF-en var i bevegelse.

Human-made pollution is a large and growing problem on a global scale. This manifests all around the world, with one specific case being the accumulation of plastics and other non-biodegradable trash in oceans, rivers and lakes. The consequences of this ranges from death of marine life to the irreversible introduction of micro-plastics in our environment. As the sources for the trash are many, the solutions needed to counteract the problem also have to be varied.

This thesis aims to contribute to such a solution, where the final product is intended to be an Unmanned Surface Vehicle (USV) capable of collecting trash in sheltered waters such as harbours. The focus of the thesis is how an USV can detect and track floating trash while operating autonomously. The thesis first provides a review of current USV solutions that have been proposed or developed, as well as relevant technology used in maritime settings that could be leveraged to better performance. A complete system for the detection and tracking of trash is developed, using a sensor-suite consisting of LiDAR and a monocular camera mounted on an USV. The system utilizes a pre-trained Yolov7 model for object detection, an established georeferencing method and a tailored LiDAR filtering process. Measurements from the sensors (modalities) are fused together using a Joint Probabilistic Data Association filter (JPDA) to produce tracks in a geodetic reference frame. Efforts were done to synchronize and unify data from different sources. However, due to weaknesses in the capture setup some manual synchronization had to be performed.

The performance of the overarching system and the individual sensors were validated using three datasets that were acquired as part of the thesis. It was shown that the methods implemented for both the camera and the LiDAR had merit as detectors, however each with its own weaknesses. The georeferencing method was shown to be sensitive to offsets in pose and orientation, and performed worse further away from the sensor. The LiDAR used, VLP-16, lost sight of objects due to low vertical resolution, also more prevalent further from the sensor. The JPDA filter showed great promise both in fusing measurements into consistent tracks and keeping the established tracks even in less than ideal-scenarios. A test in an uncontrolled environment at Brattørkaia showed that the system was able to track objects on the water surface while the USV was undergoing movement.