Feature-based pose estimation of ships in monocular camera images

Abstract

En metode for å beregne orienteringen til et fartøy basert på en sekvens av bilder blir presentert. Metoden blir demonstrert både på syntetiske bilder fra et simulert miljø og ekte bilder fra Trondheim havn. OpenCV blir brukt, med ORB til å detektere hjørner som interessepunkter, DAISY til punktbeskrivelse, FLANN til punktkorrespondanse, 7-punkts algoritmen og RANSAC for å finne kamerabevegelsen, DLT til triangulering, og til slutt buntjustering og SFM-optimering ved hjelp av Levenberg-Marquardt. Utenfor OpenCV har det blitt implementert fjerning av ekstremverdier, men likevel var det i enkelte sekvenser utfordringer med usikkerhet i dybden grunnet kort grunnlinje, hvilket gav stor usikkerhet i resultater. Egenvektorene til punktskyene har hovedsakelig blitt regnet ut ved hjelp av PCA. Andre metoder har også blitt testet, den valgte metoden var basert på kjennskap om orienteringen til kameraet. Det ble også utforsket en bildebasert metode hvor prinsipalkomponenten projiseres ned i havplanet, men å finne havplanet kun basert på bilde viste seg vanskelig.

A method for calculating the heading of a surface vehicle relative to a camera is presented. The calculation is based on an image sequence, taken both in a simulated 3D environment as well as real images. The OpenCV structure from motion (SFM) module implemented uses the oriented FAST rotated BRIEF (ORB) feature detector, the DAISY descriptor, and the fast library for approximate nearest neighbors (FLANN) matcher. Camera motion is estimated by 7 point correspondences and random sample consensus (RANSAC). Triangulation is performed with the direct linear transform (DLT) algorithm. To refine parameters, bundle adjustment (BA) is used as the last step in the OpenCV SFM module. Outlier removal is then performed in two steps, the first removing gross outliers, and the second being based on \textit{k}-means clustering. The target vessels longitudinal axis is estimated relative to the camera coordinate system using principal component analysis (PCA). Several methods are then explored for finding the ocean surface plane, whereupon the estimated axis is projected into the ocean plane. The heading relative to the observing camera is then finally calculated. The heading calculation accuracy for several image sequences are provided. Final results with only a few degrees of error are presented, as well as more challenging cases, where the error was larger due to causes like depth uncertainty, outliers or cloudy weather. A purely image based method was also explored, but finding the ocean plane based on an image only proved to be difficult.