Vision-Based Grasp Pose Detection for Autonomous Underwater Vehicles with 0-DoF Manipulators

Abstract

Med en stor økning i utnyttelsen av havressurser og en økende etterspørsel etter bærekraftige offshore-løsninger, øker også behovet for autonome undervannsfarkoster (AUV-er). AUV-er kan brukes til å utføre rutinemessige inspeksjons-, vedlikeholds- og reparasjonsoppdrag (IMR), og reduserer behovet for kostbare menneskelige ekspedisjoner til tøffe og utfordrende miljøer.

For å kunne utføre slike intervensjonsoppgaver krever AUV-er en situasjonsforståelse. Denne avhandlingen presenterer et rammeverk for at en AUV skal tilegne seg en forståelse om omgivelsene ved bruk av et optisk kamera for å generere foreslåtte posisjoner der AUV-en kan gripe observerte objekter. Det foreslåtte rammeverket består av fire hovedkomponenter som til slutt settes sammen og evalueres gjennom simulasjon. Med mål om å gi AUV-en en semantisk forståelse av den observerte situasjonen, presenteres teorien bak hvordan en tredimensjonal rekonstruksjon av scenen kan gjøres. Den rekonstruerte scenen brukes deretter som grunnlag til å generere kandidater til gripeposisjoner basert på geometriske betraktninger av den observerte scenen og griperen til AUV-en. Videre foreslås det en ramme for evaluering av gripeposisjoner, for å evaluere de genererte kandidatposisjonene og finne den posisjonen som mest sannsynlig vil lykkes. Til dette formålet foreslås flere geometriske kvalitetsmål, hver med vekt på en separat metrikk som anses å indikere et bedre grep. I denne oppgaven betraktes det en griper som sitter fastmontert til AUV-en og som ikke kan bevege seg på egenhånd, noe som legger begrensninger på hvordan AUV-en må plassere seg for å gripe objekter. En poengfunksjon introduseres som en metode for å evaluere gripeposisjonskandidater basert på orienteringen deres.

Det foreslåtte rammeverket for å detektere gripeposisjoner blir gjennom simulasjon vist til å være kapabelt til å generere brukbare grep. Imidlertid er det ikke presentert eksperimentelle resultater fra en felt-situasjon, noe som etterlater det foreslåtte rammeverket med en vei å gå før det kan verifiseres.

As the level of exploitation of ocean resources and demand for sustainable offshore solutions rises, so too does the need for autonomous underwater vehicles (AUVs). AUVs can help perform routine inspection, maintenance, and repair (IMR) tasks, reducing the need for costly human expeditions to rough and challenging environments.

An AUV requires an understanding of the scene in order to perform intervention tasks. This thesis presents a framework for understanding the scene as observed by an optical camera to generate suggested positions for an AUV to grasp an object. The suggested framework consists of four main components that are put together and evaluated through simulation. With the aim of giving the AUV a semantic understanding of the scene, the theory behind creating a three-dimensional reconstruction of the observed scene is presented. The reconstructed scene is used as a basis for generating candidate grasp poses based on geometric considerations of the scene and the AUV's gripper. A grasp pose evaluation framework is suggested to evaluate the quality of the generated grasp candidates to extract the pose most likely to be successful. Several geometric quality metrics are proposed for the purpose of this evaluation, each one emphasizing a separate metric considered to indicate a better grasp. For this thesis, the gripper is considered rigidly fastened to the AUV and unable to move on its own. This imposes constraints on how the AUV has to be positioned in order to grasp objects. A scoring function is introduced as a method of evaluating grasp pose candidates based on their orientation.

The proposed grasp pose detection framework is shown to produce viable grasps through simulation. However, no experimental results from a field situation are provided, which leaves the suggested framework with some way to go before it can be verified.