A system for a scene representation and depth perception for the autonomous ferry
Abstract
Denne masteroppgaven presenterer en model som tar i bruk stereosyn for miljøoppfatning og scenerepresentasjon av hindringer og navigerbare områder i maritim sektor. Prosjektet er del av en større gruppe prosjekter som omhandler miljøoppfatning og selvstyrt sjøfart av et elektrisk forskningsfartøy kalt MilliAmpere-2. Dette fartøyet er utstyrt med ulike oppfatningsutstyr, blant annet LiDAR, radar, stereo kameraer og et dynamisk posisjoneringssystem. Dette prosjektet fokuserer spesifikt på avstandsdata generert av stereokameraer for å skape en datasynbasert model for scenerepresentasjon. Noen viktige bidrag fra denne oppgaven innebærer utvikling av en overflatebasert segmenteringsmodell som genererer en forenkla scenerepresentasjon og en metode for å korrigere avstandsdata som gir et mer nøyaktig dybdekart som kan representeres enten som punkt eller overflater. Fokuset til denne oppgaven ble inspirert av noen unike utfordringer som finnes i maritim sektor, disse inkluderer begrenset synlighet av fjerne gjenstander og den dynamisk vannoverflaten. Modellen er evaluert med lokalt innspilte bildesekvenser tatt i Nyhavna i Trondheim, Norge. Resultater viser til at den foreslåtte modellen effektivt klarer å identifisere objekter og skille mellom hindringer og navigerbare områder for fartøyet. Den viser også til lovende nøyaktighet både når det gjelder korrigering av avstandsdata, men også segmentering. Arbeidet utført i dette prosjektet bidrar til feltet maritim selvstyrt navigering og datasyn ved å tilby en stereosynsbasert model som forsøker å løse noen av de unike utfordringene man finner i maritim sektor. This thesis presents a model utilizing stereo vision for environmental perception and scene representation of obstacles and navigable areas in the maritime domain. The project is part of a larger cluster of projects revolving around environment perception and autonomous navigation of an electric research vessel, MilliAmpere-2. This vessel is equipped with various perception tools including LiDARs, radar, stereo cameras, and a dynamic positioning system. This project focuses specifically on disparity data generated from stereo cameras to create a vision-based model for a scene representation. Some key contributions of this thesis include the development of a surface-based segmentation model generating a simplified scene representation and a technique for disparity correction providing a more accurate depth map able to be represented as points or surfaces. The focus of this project is inspired by some of the unique challenges encountered in the maritime domain, such as limited visibility of far-away objects and the dynamic water surface. The model is evaluated and tested on locally recorded image sequences around Nyhavna in Trondheim, Norway. Results indicate that the proposed system effectively identifies and distinguishes between obstacles and navigable areas for the vessel, demonstrating promising accuracy in both disparity correction and segmentation. The work done in this project contributes to the field of maritime autonomy and computer vision by providing a stereo-vision-based model addressing some of the unique challenges found in the maritime domain.