Computer Vision Based Pose Estimation for Auto Docking System

Abstract

Denne masteroppgaven presenterer utviklingen av et komplett, datasynbasert, posisjons- og orienteringsestimeringssystem. Systemet er utviklet spesielt for bruk på små ferger som går over fjorder og innsjøer. Systemet kan både bli brukt som en støttemodul for et auto-docking system, eller som et verktøy for kapteinen når ferga legges til kai. Selve systemet er basert på tradisjonelle datasynmetoder som konturdeteksjon, objektsdeteksjon, positsjon- og orienteringsestimering og "Perspektiv-n-Punkts" algoritmer. I tillegg til det komplette systemet er det utviklet et sett med markører spesielt for dette bruksområdet. Det er også utviklet et robust programvarebibliotek for deteksjon og identifikasjon av disse markørene. Oppgaven inneholder resultater fra omfattende forsøk under utviklingen av markørene og deteksjonsbiblioteket. I tillegg er det inkludert en god mengde resultater fra evalueringsforsøk av det komplette systemet, utført både på land og ombord på ferga MF Lagatun. Resultatene virker lovende for systemet som helhet, spesielt fungerer deteksjonsbiblioteket godt på opptakene fra ferga. Ved å følge de anbefalingene som er gitt for videre arbeid vil trolig systemet være veldig bra egnet for bruk på ferger, og forøvrig andre skip som kunne hatt behov for et slikt system.

This master's thesis presents the development of a complete, computer vision based, position and pose estimation system. The intended application is on a typical "roll on roll off" ferry transiting over small lakes and fjords. The system can be used either as a support module for an auto-docking system, or as an aid for the captain during berthing operations. The system is based on traditional computer vision methods such as contour detection, object detection, pose estimation and "Perspective-n-Point" solvers. In addition to the complete system, there has been designed a new set of markers specifically suited for this application together with a good library for detection and identification of these. The thesis contains extensive experimental results from the design and development of the markers and the corresponding library, as well as results from the development of the complete system. The system shows promising results after running it on recordings from the ferry MF Lagatun. By improving the detection library following the recommendations for further work laid down in this thesis, the system could have good potential in a commercial market.