Automatic Calibration of Ship-mounted Cameras’ Extrinsic Parameters

Abstract

Kalibrering er et sentralt tema innenfor autonome systemer som følge av at antakelsen om kalibrerte sensorer alltid er tilstede når sensordata brukes til å utvikle en modell av verden rundt det autonome systemet. Til tross for dette gjøres kalibrering i dag stort sett for hånd ved hjelp av spesialiserte metoder og infrastruktur. Dette er ineffektivt og dersom sensorens egenskaper endres - selv en liten endring - under operasjonen av det autonome systemet, vil den nå inkorrekte kalibreringen kunne ha fatale konsekvenser. Et sett kalibreringsparametere felles for alle sensorer er de ekstrinsiske kalibreringsparameterne, det vil si posisjonen og orienteringen av sensoren.

Hånd-Øye-kalibreringsproblemet er en matematisk ligning, hvor dens løsning er den ukjente ekstrinsiske kalibreringen av sensoren. Dersom sensoren som kalibreres har evnen til å estimere sin egen bevegelse kan ligningen løses i sin helhet ved hjelp av innsamlet data. En slik metode for datadrevet estimering av de ekstrinsiske parametrene muliggjør feildetektering og re-kalibrering under kjøring av det autonome systemet. Dermed motiverer Hånd-Øye-ligningen til videre undersøkelse. De ekstrinsiske parameterne er dog ikke observerbare for Hånd-Øye-kalibrering når det gjelder rent planare bevegelser, noe som fører til dårlig ytelse for den nært planare skipsdataen som er fokuset i denne oppgaven.

Gjennom prosjektoppgaven og en tilknyttet konferanseartikkel har forfatteren vist at det er mulig å utføre Hånd-Øye-kalibrering for å finne orienteringen av et skipsmontert kamera når kamerabevegelsen er rekonstruert ved å estimere kameraets bevegelse ved hjelp av dens egen data. Denne masteroppgaven tar for seg en dybdeanalyse av utfordringene knyttet til bruken av nært planare skipsdata for Hånd-Øye-kalibrering. Dette er gjennomført ved å analysere Hånd-Øye-løseren kalt Park-Martin i detalj. Gjennom denne analysen utledes nye metoder for å undersøke de numeriske egenskapene til skipsdataen. Disse metodene er deretter brukt til å videre muliggjøre online sanntidskalibrering av skipsmonterte kamera sine ekstrinsiske parametre gjennom rent datadrevne, og dermed autonome, metoder.

Calibration is a central topic for the field of autonomous systems, as an assumption of accurate calibration is an assumption that is made whenever sensor data is used to build a model of the world around the system. Despite this, calibration is mostly performed by hand and by using specialized methods and infrastructure. This is inefficient and if the properties of the sensor changes, even if only slightly, during operation, then using the now wrongful calibration can have fatal consequences. One set of calibration parameters that all sensors have are the extrinsic calibration parameters, meaning the position and orientation of the sensor.

The Hand-Eye calibration problem is a mathematical equation whose solution is the unknown extrinsic calibration of a sensor. If the sensor to be calibrated is capable of estimating its egomotion, then the equation can be solved entirely by the use of captured data. Such a method for data-driven estimation of the extrinsics enables on-line fault detection and re-calibration, and the Hand-Eye equation thus motivates further study. The extrinsic parameters are however unobservable through Hand-Eye calibration when purely planar motions are concerned, which leads to poor performance for the nearly planar ship-data in focus for this thesis.

Previous work by the author in the specialization project and associated conference paper has shown it possible to perform Hand-Eye calibration to find the orientation of ship-mounted camera, when the camera motion is reconstructed using egomotion algorithms. This thesis entails in-depth analyses of the specific challenges of using the nearly planar ship-data for Hand-Eye calibration. This is done by analysing the Park-Martin Hand-Eye solver in detail. New methods regarding the numerical properties of data for use in Hand-Eye calibration are derived and used to further improve the possibility of on-line, real-time calibration of ship-mounted cameras' extrinsic parameters through purely data-driven, and therefore automatic, methods.