Improved Maritime Vessel Detection in Camera Images using Bag-of-Visual-Words

Abstract

Autonome fartøy er avhengig av intelligente beslutningsalgoritmer basert på maskinlæring. En stor fordel innen maskinlæring er at dype nettverk utvikler seg mot å bli kraftfulle verktøy innen objekt deteksjon. Dype nettverk brukes i ulike felt innen den maritime industrien som blant annet til klassifisering av skip, kollisjonsunngåelse og navigasjon. Utfordringer innenfor havnmiljøet gir imidlertid behov for unike løsninger. I denne rapporten ble Bag-of-Visual-Words (BoVW) metoden brukt til å klassifisere og detektere skip i optiske bilder fra maritime omgivelser. En interessepunktdetektor eller sliding window blir først brukt til å hente ut deler av skipet. Så blir skips- og bakgrunnsdeler med like egenskaper gruppert sammen med \textit{k}-means cluster algoritmen for å lage en ordbok for begge kategoriene. Ordbøkene vil så bli brukt for å teste ytelsen til modellen. De delene som tilsvarer skipsklassen, blir så matchet med treningsdataen for å klassifisere hver skipsdel. Målet med prosjektet var å undersøke om BoVW kan brukes til å hente ut informasjon fra fartøyet for å forbedre deteksjon av skip i havnemiljøer.

Resultatene fra testene som har blitt gjort i dette prosjektet viser at metoden har forbedringspotensial. Metoden viser lovende resultater under visse situasjoner, men skipsdeteksjon fra havnemiljøer viser seg å være utfordrende.

Autonomous vessels relies on intelligent decision algorithms based on machine learning. As a major advantage in machine learning, the deep learning approach is becoming a powerful technique for object detection. The deep learning methodologies are applied in various fields in the maritime industry such as ship classification, collision avoidance, and navigation. However, challenges within the maritime environment give rise to the need for unique solutions. In this thesis, maritime vessels are classified and detected in optical camera images using the Bag-of-Visual-Words (BoVW) method for maritime environments. Features from vessel targets and background are first extracted using either interest point detectors or sliding window. Then, similar features are clustered using \textit{k}-means clustering algorithm to create vocabulary for both categories. The vocabularies are used for testing the model performance on unseen data. The features corresponding to the vessel targets from the test set are matched to those of the training to classify each feature. The aim was to examine if BoVW could be used to extract information about the parts of the vessel to improve object detection in cluttered harbor environments.

The results from the tests done in this project shows that the method needs improvements. The method shows promising results in certain situations, however object detection in real-life cluttered harbor environments proved to be difficult.