GNSS-free maritime navigation using DEM data and monocular camera images

Abstract

Potensielle trusler rettet mot satellittbaserte navigasjonssystemer har vekket fornyet interesse for GNSS-uavhengige systemer, som et middel for å sikre fortsatt drift av kritisk infrastruktur. I tråd med dette presenterer denne rapporten et grunnleggende rammeverk for et GNSS-uavhengig navigasjonssystem for bruk i den maritime sektoren. Det foreslåtte rammeverket brukte kun et monokulært kamera og en digital høydemodell av fartøyets omgivelser for å estimere avviket fra en forhåndsdefinert, planlagt bane. En simulator laget i Unity ble videre brukt for å simulere fartøyet og dets omgivelser, mens en separat applikasjon i Python ble anvendt for å analysere den syntetiske dataen fra simulatoren. Posisjonsestimatet ble utført ved å minimere reprojeksjonsfeilen mellom et landemerke i terrenget og et tilsvarende landemerke lokalisert i bildeplanet til kameraet. Landemerker i bildeplanene til de to banene ble funnet ved hjelp av morfologiske operasjoner og et iterativt dybde-først-søk, før de ble forsøkt matchet ved hjelp av en sum av absolutte forskjeller. Landemerker i 3D terrenget ble funnet ved hjelp av en strålesporingsalgoritme, som benyttet landemerkene i ett av bildeplanene som referanse. 3 ulike baner, påvirket av varierende grader med støy, ble videre definert og brukt til å evaluere systemets ytelse. Positive forbedringer av den kvadratiske gjennomsnittsfeilen på mellom 1,5% og 12,8% ble registrert for baner som opplevde moderat til høye forstyrrelser, mens negative bidrag ble registrert hvor liten til ingen støy ble lagt til. De ulike modulene i systemet ble så analysert, verifisert og vurdert tilstrekkelige, med unntak av sammenligningsalgoritmen mellom landemerker i bildeplan og den adaptive grid-search algoritmen brukt for posisjonsestimering. Rammeverket ble alt i alt vurdert som et lovende fremtidsprospekt, med høyt potensial innen fremtidig, visuell posisjonsestimering til havs.

The potential threats to satellite based navigation have renewed the interest in GNSS-independent systems as a means to secure the continued service of critical infrastructure. To this end, a baseline framework for a GNSS-independent navigation system in the maritime sector is presented in this report. The proposed framework only utilizes a monocular camera and a digital elevation model of its surroundings to estimate a vessel's deviation from a predefined, intended trajectory. A Unity based simulator is further used to simulate the vessel and its surroundings, before an independent Python application is deployed to analyze the synthetic data. The pose estimation was done through minimization of the reprojection error between features in the terrain and a matching feature in the camera image plane. Image features from the intended and actual trajectories were extracted using morphological operations and an iterative depth-first search, before being matched through a sum of absolute differences energy measure. The feature in the 3D environment was found through a ray-tracing scheme with image features for reference. 3 different trajectories affected by varying degrees of noise were used to evaluate the systems performance. Positive improvements of the mean square error ranging from 1.5% to 12.8% were recorded on paths experiencing moderate to high disturbances, whilst negative contributions were recorded on paths with little to no noise. The various modules of the system were analyzed, verified and deemed adequate, with the exception of the matching algorithm for image features and the adaptive grid search algorithm for pose-estimation. Overall, the framework was deemed a promising prospect for future development, with the potential of furthering scientific solutions in the field of long-range visual odometry.