Selective inspection of ship ballast/cargo tanks by identifying inspection-important geometries

Abstract

Nye teknologiske framskritt for autonome droner har skapt mange muligheter og flere nye løsninger. En av disse er for strukturell inspeksjon av ballasttanker og lastetanker i skip. Slike inspeksjoner blir i dag utført med mennesker som arbeider i stillas med fallsikring. Ved å bruke autonome mikro droner kan både inspeksjonstiden reduseres og mennesker kan fjernes fra potensielt farlige omgivelser. Denne masteroppgaven presenterer et autonomt system for inspeksjon av et sett med semantiske strukturer inne i en skipstank. Fokus er plassert på å oppnå en kvalitet på inspeksjonen likt det menneskelige eksperter oppnår. Først vil dronen utforske tanken med Graph-based Exploration Planner (GBPlanner) for å lage et kart, samtidig som en deteksjons- og segmenteringsalgoritme lager en segmentert punktsky av tanken med en merkelapp for hver semantiske struktur.

På hver av de semantiske strukturene i den segmenterte punktskyen utføres det en rekonstruksjon av overflaten for å lage en overflate mesh. En metode for rekonstruksjon av en overflate er presentert i denne rapporten. Den genererer en overflate mesh fra en polygon suppe som splitter den kjente geometrien for hver semantisk type i store polygoner. Overflate meshen blir meshet igjen til overflaten har en god størrelse på polygonene. Antallet av hver semantisk struktur er kjent. Hvis det mangler en semantisk struktur i den segmenterte punktskyen, blir en overflate mesh approksimert til den antatte posisjonen til den manglende semantiske strukturen.

Den selektive inspeksjons planleggeren genererer oppdragsbaner slik at mikro dronen kan visuelt inspisere overflate meshene. De semantiske strukturene er delt inn i turer slik at dronen kan inspisere alle strukturene i en gitt tur på en batteriladning. Planleggeren tar viktige områder å inspisere som input og inspiserer disse med spesifikke vinkler eller bevegelser. Den kan lage baner som dekker hele overflaten samtidig som den fokuserer på de viktige områdene eller som kun inspiserer de viktige områdene. Banen som dekker hele overflaten er funnet ved å finne et sett med synspunkter for dronen som dekker hele overflaten. For alle de semantiske strukturene dannes det er graf hvor hver node i grafen er et synspunkt. Den korteste veien mellom alle nodene i grafen er funnet ved å løse den reisende handelsmann problemet. For å gjennomføre en god inspeksjon, blir det lagt til synsvinkler fra siden for å se de viktige områdene. En inspeksjons metodikk er presentert hvor mikro dronen først gjennomfører en bane for å se hele de semantiske strukturene mens den fokuserer på de viktige områdene. Etter dette er gjennomført, kan en erfaren inspektør se gjennom videoen og legge til flere viktige områder. Planleggeren kan da lage en bane som kun fokuserer på disse viktige områdene.

Arbeidet i denne master oppgaven er testet i simulering og ved eksperimentell testing. Noen fokusområder for fremtidig arbeid er funnet, slik som å straffe unødvendig rotasjon rundt vertikalaksen, lokal endring av bane for å forbedre bildekvalitet og planlegging av bane hvor hensyn er tatt til dronens dynamikk.

The advancement of autonomous solutions in aerial robotics has opened new opportunities and solutions. One of these is the structural inspection of ship ballast and cargo tanks. Currently, most inspection is performed by humans with fall protection and scaffolding. This exposes workers to potentially hazardous environments. By using an autonomous Micro Aerial Vehicle (MAV), inspection time and human exposure to potentially dangerous environments, can be reduced. This master's thesis presents an autonomous system to inspect a set of semantic structures inside a tank, focusing on achieving an inspection with a quality similar to trained experts. First, the Graph-based Exploration Planner (GBPlanner) explores the environment to create a map, while a detection and segmentation algorithm creates a segmented point cloud labelling the semantic structures.

This thesis presents a surface reconstruction method that creates a fully closed surface mesh for each of the semantic structures inside the tank. The surface meshes are created by meshing a polygon soup that splits the known geometry of each type of semantic into larger polygons. The surface mesh is re-meshed until a suitable size is achieved for the polygon faces. The number of each semantic type inside the tank is known a priori. If a semantic is missing from the segmented point cloud, a surface mesh is approximated at the assumed position of the missing semantic.

Next, the selective inspection planner creates multiple mission paths for a MAV to visually inspect the surface meshes. The semantics are split into tours that the MAV can inspect on a single battery charge. The planner gets important areas to inspect as input and inspects these with specific angles or movements. It can create a path that covers the entire surface while focusing on the inspection-important areas or only focusing on the inspection-important areas. The coverage path is found by sampling a set of coverage viewpoints. The shortest path connecting these viewpoints for all semantic structures in the tour is found by connecting them into a graph and solving the Travelling Salesman Problem (TSP). To improve the quality of inspection, angled views are added in the path at the location of the inspection-important viewpoints. The planner can also create a path that only views the inspection-important areas. An inspection methodology is presented where the MAV first executes missions with coverage paths. After execution, a human inspector can review the footage and highlight areas of interest. Next, the planner creates a new path that only views these areas.

The work in this master's thesis is tested in simulation and experimental testing. Some areas for future work are found, such as penalising yawing when solving the TSP, local adjustment of path to improve image quality and considering the dynamics of the MAV when planning.