Crane Pose Estimation using IMU and Computer Vision

Abstract

Kranoperasjoner om bord på skip blir gjennomført til stadighet i maritim industri i dag. Slike kranoperasjoner er utsatt for lastsvingninger på grunn av skipets bevegelser. Lastsvingninger utgjør en risiko for både mennesker og utstyr, og kan med fordel reduseres ved bruk av et tilbakekoblet kontrollsystem.

Dette arbeidet undersøker implementasjon av en tilstandsobservatør for kranens leddposisjoner til bruk i et kontrollsystem. Observatøren er basert på IMUer plassert mellom leddene på krana, og et datasynsystem som måler den tredimensjonale posisjonen til opphengspunktet. Resultatet er et billig system som kan ettermonteres på ulike kraner.

To ulike Kalman-filtere har blitt implementert ved hjelp av en dynamisk modell av krana. Oppgaven presenterer en sammenligning av de to filtrene basert på nøye testing i et digitalt simuleringsmiljø. Robusthet og presisjon har blitt vurdert ved å variere målestøy og prosesstøy i modellen. Simuleringene viser lovende resultater for de to roterende leddene, men teleskopleddet får upresise estimater på grunn av feilen fra IMU-integrasjonen.

Shipboard crane operations are performed extensively in today's marine industry. During operations, the suspended cargo is prone to pendulation due to the ship's movement. Such pendulation puts both personnel and equipment at risk, and should be kept to a minimum. In order to do so, a feedback control system can be beneficial.

This thesis investigates the creation of a crane state estimator for use in a pendulation reducing control system. The state estimator is based on inertial measurement units placed on each link of the crane, as well as a computer vision system that measures the three-dimensional position of the crane tip. This results in a cost-effective observer that can be retrofitted to different cranes.

Both an extended Kalman filter and an unscented Kalman filter is implemented using a dynamical crane model. A comparison of the two filters is done through extensive testing in a digital simulation environment. Observer robustness and accuracy is evaluated for varying amounts of measurement- and process noise in the model. Promising results are found for the two revolute joints of the crane, however the prismatic joint shows large inaccuracies due to integration error from the inertial measurement units.