Multi-Task Attention-Based Convolutional Neural Network for SAS Change Detection with Self-Supervised Pre-Training

Abstract

Undervannsminer utgjør en betydelig trussel mot marinefartøyer, og brukes til å styre bevegelse eller hindre passasje gjennom minelagte farvann. Minemottiltak (MCM) har som mål å lokalisere og uskadeliggjøre miner for å muliggjøre fri bevegelse. Autonome undervannsfarkoster (AUVer) utstyrt med syntetisk apertur-sonar (SAS) brukes i økende grad til å søke etter miner og gir et høyoppløselig og detaljert bilde av havbunnen. Det kan imidlertid være vanskelig å detektere miner i SAS-bilder på grunn av redusert bildekvalitet og/eller komplekse sjøbunnsforhold. Derfor har automatiserte endringsdeteksjonsteknikker (ACD) vist seg å være nyttig for minedeteksjon ved å sammenlikne bilder tatt på to forskjellige tidspunkter. De siste årene har dype konvolusjonelle nevrale nettverk (DCNN) revolusjonert feltet innen kunstig intelligens og bildegjenkjenning på grunn av deres evne til å ekstrahere relevante endringer uten behov for menneskelig domenekompetanse. Nylige studier har dessuten vist at dyp læringsbasert (DL) minedeteksjon reduserer antall "falske alarmer" sammenliknet med tradisjonelle deteksjonsmetoder. Imidlertid er utviklingen av DL-baserte applikasjoner i militær sammenheng utfordrende på grunn av begrensede mengder med annotert treningsdata. Denne masteroppgaven undersøker potensialet til self-supervised læring (SSL) som et pretreningssteg for DL-basert endringsdeteksjon av sonarbilder. SSL takler utfordringen med mangelen på tilstrekkelig med annotert data ved å bruke et umerket datasett for å lære nyttige temporære egenskaper mellom SAS-bildene. Avhandlingen presenterer også Siam R-CNN, en nettverksarkitektur som lærer objektbaserte "bounding-boxes" og pikselbaserte endringskart for utplasserte miner. Den foreslåtte metoden testes på HISAS-1030 SAS-bilder og viser lovende resultater for anvendelse og utvikling av DL-baserte endringsdeteksjonsmetoder for sonarbilder.

Underwater mines pose a serious threat to marine vessels, serving as means to control navigation or prevent passage through restricted waters. To address this, mine countermeasures (MCM) focus on locating and disabling mines to ensure freedom of movement. Autonomous underwater vehicles (AUVs) equipped with synthetic aperture sonar (SAS) are increasingly used for mine searches, providing detailed acoustic imagery of the sea floor. Since AUVs collect large amounts of SAS imagery, automated change detection techniques (ACD) have proven valuable in discriminating potential mines from other objects. While ACD of mines has been studied extensively, the outstanding performance of deep convolutional neural networks (DCNNs) for image classification has created an interest in how deep learning (DL) may be useful for change detection of SAS imagery. Recent studies reveal that DCNNs offer superior performance in mine detection, with a greater probability of detecting mine shapes and lower false alarm rates compared to traditional target classifiers. However, developing deep learning-based applications in a military context is challenging due to the lack of high-quality, sufficiently large labeled datasets that can be used to learn from and gain insight to. This thesis explores the potential of self-supervised learning (SSL) as a pre-training technique for DL-based mine change detection of SAS imagery. SSL eliminates the need for labeled training data and addresses the data scarcity problem encountered in supervised learning. The pre-trained SSL weights are fine-tuned using a multi-task attention-based DCNN named Siam R-CNN, which aims to simultaneously learn object-based bounding boxes and pixel-based change maps of deployed mines. Experimental evaluation conducted on a HISAS-1030 SAS dataset demonstrates the potential of Siam R-CNN for DL-based mine change detection.