A Novel Study on Identifying Vessel from SAR Satellite Imagery with Attention Mechanisms

Abstract

Denne oppgaven tar sikte på å utstyre en datasynsmodell for å oppdage kar fra forskjellige polariteter i SAR-bilder. Hovedmålet er å redusere havets uregulerte, ulovlige fartøyaktiviteter. De fleste av disse aktivitetene skjer i havet på grunn av tilstedeværelsen av små typer fartøy, og fartøyene følger ikke maritime regler. Fra og med å oppdage de små fartøyene, oppsto det problemer på grunn av behovet for spesifikke type datasett som gir storskala bilder av små fartøyer. Merk følgende mekanismer har blitt mer populære for å oppdage visse objekter og analysere spesielle objektegenskaper som ligner på mennesker. Dette motiverer en dyptgående analyse av SAR-bildene for å bekrefte styrken til oppmerksomhetsmekanismen for å oppdage disse fartøyer og hvordan den håndterer de forskjellige polaritetene til SAR-bilder når modellen er kommet er trent på en bestemt polaritet. Tre forhåndsbehandlede datasett ble lastet ned fra eksisterende arbeid DSDD, SSDD og SAR-Ship, og modellene ble opplært ved hjelp av DSDD-datasett og ble validert og testet på resten av de to datasettene etter det. Denne oppgaven har brukt YOLOv8-modellen, og senere ble arkitekturen modifisert med kanal oppmerksomhetsblokker og effektive kanal oppmerksomhet blokker. De Modeller testes også ved å variere nettverkslagene, da det ikke er noen klar grenselinje score finnes. I den første fasen av dette arbeidet, de trente modellene med særlig datasett genererte lave poeng under validering, noe som var forventet. Imidlertid score var overbevisende i de strenge oppgavene. Etter det, et blandet datasett fra DSDD- og SSDD-datasettene ble tilbudt modellen å trene på. Etter dette trening, forbedres mAP-poengsummen med gjennomsnittlig 50 % av de designet modellene. Videre forskning vil bli utført for å grave dypere inn i oppmerksomhetsmodulene til forstå funksjonskartene som kan forbedre denne oppgavens poengsum i den første fasen. I tillegg vil utviklingen fullføres for å være kompatibel med levende bilder av SAR-satellittene, og skaper et kontrollert miljø i det marine miljøet.

This thesis aims to equip a computer vision model to detect vessels from different polarities in SAR images. The primary objective is to reduce the ocean’s unregu lated, illegal vessel activities. The majority of these activities occur in the ocean due to the presence of small types of vessels, and the vessels do not follow maritime rules. Beginning with detecting those small vessels, problems arose due to the need for specific type datasets that provide large-scale small vessel imagery. Attention mechanisms have become more popular for detecting certain objects and analyzing particular object features similar to humans. This motivates a deep-down analysis of the SAR imagery to verify the strength of the attention mechanism to detect those vessels and how it deals with the different polarities of SAR images once the model is trained on a particular polarity. Three preprocessed datasets were downloaded from existing work DSDD, SSDD, and SAR-Ship, and the models were trained us ing DSDD datasets and were validated and tested on the rest of the two datasets after that. This thesis has used the YOLOv8 model, and later, the architecture was modified with channel attention blocks and efficient channel attention blocks. The models are also tested by varying the network layers, as no clear baseline cut-off scores exist. In the first phase of this work, the trained models with particular datasets generated low scores while validating, which was expected. However, the scores were convincing in the rigorous tasks. After that, a mixed-up dataset from the DSDD and SSDD datasets was offered to the model to train on. After this training, the mAP score is improved by an average of 50% by the designed models. Further research will be conducted on digging deeper into the attention modules to understand the feature maps that can improve this thesis’s score in the first phase. In addition, the development will be completed to be compatible with live images of the SAR satellites, creating a controlled environment in the marine environment.