Using multispectral band combinations and deep learning for predicting ship behavior from satellite images

Abstract

Ulovlig fiske, piratvirksomhet og beskyttelse av ressurser er omfattende globale utfordringer. I dag er det begrenset sporbarhet for skip siden fartøysoperatører har muligheten til å slå av skipets navigasjonsmeldinger. Det er viktig å øke bevisstheten i det maritime domenet for å løse disse problemene. Denne masteroppgaven utvikler et nevralt nettverk for å detektere skip i satellittbilder. Satellittbilder er en kilde som ikke kan tukles med som gjør de mer pålitelige.

Den foreslåtte modellen, ShipNet, viser at et skips posisjon, lengde og kurs kan predikeres i en samlet arkitektur. Modellen oppnår 98% nøyaktighet i å finne bilder som inneholder skip. Over 600 bildebåndkombinasjoner fra satellitten Sentinel-2 er testet for å sammenligne virkningen båndene gir på predikasjonene. Modellen klarte seg best ved å bruke ni av de totalt tretten bildebåndene.

Modellen er testet med 789 bilder. De fleste av posisjonsprediksjonene var plassert på skipene. Lengdeprognosen er tilstrekkelig til å skille små, mellomstore og store fartøy. Prediksjonen for skipets kurs forteller om et skip følger en sjøvei eller ikke. ShipNet er klar til å settes i produksjon for Vake. Vake er et oppstartsselskap som opprettet oppgaven og er dataeieren.

Illegal fishing, piracy activities, and asset protection are extensive global challenges. Today it is limited traceability of ships since vessel operators have the opportunity to turn off the ship's navigational messages. Increasing maritime domain awareness is essential to solve these problems. This project develops a convolutional neural network for detecting vessels in satellite images. Satellite images are a source that cannot be tampered with, making them more trustworthy.

The proposed model, ShipNet, shows that a ship's position, length, and heading can be predicted in a single architecture. The model requires no pre-training and achieves a 98\% accuracy in finding images containing ships. Over 600 image band combinations from the Sentinel-2 satellite have been tested, comparing their impact on the predictions. The model performed best using nine of the total thirteen image bands as input.

The model is tested with 789 images. Most of the position predictions were located on the ships. The length prediction is sufficient to separate small, medium, and large vessels. The heading prediction tells if a ship is following a shipping route or not. All of the prediction branches perform well for a real-world situation. ShipNet is ready to be set in production for Vake, who created the task and is the data owner.