Deep Learning-Based Multi-Camera Situational Awareness and Global Localization for Autonomous Ships

Abstract

Jeg presenterer design, implementasjon og testing av et ikke-driftende lokaliseringssystem i seks frihetsgrader for skip, basert på semantisk bildesegmentering ved bruk av et dypt neuralt nettverk. Kun skipsmonterte kameraer og offentlig tilgjengelig høydekartdata brukes til å presist estimere skipets globale posisjon og orientering. Segmenteringsnettverket er et PSPNet som er tilpasset og trent på et nytt generert datasett langs den norske kysten. Nettet generaliserer godt, og oppnår 99.5% piksel-nøyaktighet, men blir begrenset av imperfeksjoner i det genererte datasettet. lokaliseringssystemet kan benytte et vilkårlig antall kameraer samtidig, og fungerer ved å sammenligne segmenterte kamerabilder mot virtuelle kamerabilder fra en 3D-modell av terrenget, som tar høyde for hvordan kameraene er montert, deres interne parametre og linseforvrengning. Gitt en initiell posisjon og attitude for et skip, benyttes iterativ optimalisering for å finne en ny posisjon og attitude som bedre matcher den virituelle modellen mot de segmenterte kamerabildene. Lokalisering som bruker flere kameraer vises å være mye mer robust og presist enn lokalisering med ett kamera. Feil i kameramonteringsvinkler og kamerakalibrering, samt unøyaktig bildesegmentering medfører unøyaktigheter i lokaliseringen. Under riktige forhold kan nøyaktigheten bli på under én meter flere km fra kysten. Hele systemet er implementert i python, og kjører i omtrent 0.2Hz for 4 kameraer med bildeoppløsning 1280x960, som ikke er raskt, men lovende for en prototype ment som konseptbevis. Lokaliseringssystemet med fire kameraer er testet på testdatasekvenser fra ca. 70 unike regioner, og svikter for kun 3. De 3 sviktene ble lagt til rette for ved at styrbordkameraet periodevis var ute av drift, men ble i bunn og grunn forårsaket av dårlig bildesegmentering, igjen grunnet noen dårlige treningsdata. Videoer fra hver lokaliseringssekvens er tilgjengelig her: https://drive.google.com/drive/folders/1TPLzuMLonLWutZzT2lJlendu7V0de2xc

I present the design, implementation and testing of a non-drifting 6DoF pose estimation system for ocean vessels based on semantic segmentation of camera images using a deep neural network. Only ship mounted cameras and publicly available geographical height maps are used to accurately estimate the ship’s global pose. The segmentation network is a PSPNet adapted to and trained on a custom dataset from all along the Norwegian coast. Is is trained to label each pixel as either sky, land or ocean. The trained net generalizes well and achieves 99.5% pixel accuracy, but is limited by the imperfectly generated dataset. The localization uses an arbitrary number of ship-mounted cameras simultaneously and works by comparing the segmented camera images to a virtual reality expected view for each camera, taking into account the camera poses, intrinsic parameters and lens distortion effects. Given an initial ship pose estimate, iterative optimization (ICP) is used to find a new ship pose that better matches the virtual model to the segmented images. Localization with multiple cameras is demonstrated to be much more robust and accurate than single-camera localization. Errors in the camera pose and calibration, as well as inaccurate segmentation induces localization inaccuracy. Under the right conditions sub-meter accuracy can be achieved several km from shore. The entire system is implemented in python, and runs at ca. 0.2hz for 4 camera images with resolution 1280x960, which is not fast, but promising for a proof of concept prototype. The localization system using four cameras is tested on test-data sequences from ca. 70 unique regions, and only fails for 3. The 3 failures were enabled by the starboard camera periodically not working, but the fails were ultimately caused by bad image segmentation again caused by some bad training samples. Videos for each localization test sequence are available here: https://drive.google.com/drive/folders/1TPLzuMLonLWutZzT2lJlendu7V0de2xc