Remote vessel survey using VR

Abstract

I denne masteroppgaven ble en VR-applikasjon for eksterne skipsundersøkelser utviklet i spillmotoren Unity. Oppgaven ble gitt av det marine forsikringsselskapet Gard. Covid-19 pandemien har gjort det vanskelig for Gard å gjennomføre fysiske skipsinspeksjoner på grunn av reiserestriksjoner. Å gjennomføre en fysisk inspeksjon kan også være kostbart og forurensende siden inspektører vanligvis reiser med fly. Nåværende metoder Gard har brukt for eksterne undersøkelser har ikke vært ansett som gode nok. En ny metode ble derfor foreslått. Den nye metoden foreslår å tildele mannskap på skip en LiDAR sensor og et 360° kamera for å scanne og ta bilder av de relevante områdene på skipet. Materialet kan så sendes til en inspektør som genererer et virtuelt miljø fra det. Det virtuelle miljøet kan så utforskes i VR.

Ved å bruke en LiDAR sensor som er inkludert i nyere mobile enheter fra Apple, får man nøyaktige 3D modeller fra scannene. Kvaliteten på LiDAR scannene er bra når enkle omgivelser scannes, men blir fort dårligere hvis omgivelsene blir komplekse. For å ta hensyn til dette brukes 360° bildene til å supplementere LiDAR modellen og gi et høyere detaljnivå enn det LiDAR sensoren klarer. For å ta 360° bilder brukes et GoPro Max kamera. Kameraet gir bilder av høy kvalitet med gode detaljer. Det er mulig å se relevante detaljer som rust og sprekker fra bildene. Å ta en LiDAR scan og de nødvendige bildene av en omgivelse tar bare noen få minutter. Fra det innsamlede materialet kan man lage et virtuelt miljø av de skannede omgivelsene. Dette miljøet kan så utforskes av en inspektør i VR. Verktøy som gir nødvendig funksjonalitet for å gjennomføre en skipsinnspeksjon ble implementert og lagt til i den utviklede applikasjonen. Brukere kan sømløst bytte mellom LiDAR modellen og 360° bildene, samarbeide og kommunisere med andre via nettverksfunksjonalitet og dokumentere mulige funn med et virtuelt kamera. I tillegg kan brukere interagere med informasjonspunkter som henter info om relevante objekter fra databaser, måle avstander i LiDAR modeller og laste ned andre virtuelle miljøer fra applikasjonen. Alle de implementerte verktøyene fungerer som forventet.

Den utviklede applikasjonen ble demonstrert for inspektører på Gard. Inspektørene synes teknologien virker lovende, men synes kvaliteten på LiDAR scannene var for dårlig. Inspektørene tror at metoden som ble demonstrert kunne blitt brukt som et sorteringsverktøy for å bestemme hvilke skip som er verdt å undersøke nærmere fysisk for noen av klientene deres. Med alt tatt i betraktning blir den utviklede applikasjonen ansett som vellykket, da den gjør det mulig å undersøke skip virtuelt i tillegg til at alle de utviklede verktøyene fungerer som de skal. En video som demonstrerer den utviklede applikasjonen kan bli sett ved å trykke på den følgende video lenken.

In this thesis, a VR application for conducting remote vessel surveys was developed in the Unity game engine. The task was given by the marine insurance company Gard. The COVID-19 pandemic has made it difficult for Gard to conduct physical surveys due to travel restrictions. In addition, conducting physical vessel surveys can be costly and leaves an environmental footprint because of airplane travel. Current methods used by Gard for conducting remote surveys were deemed not satisfactory, and a new method was therefore proposed. This method proposes to provide vessel crew with a LiDAR sensor and a 360° camera. The provided equipment could then be used to scan and photograph the vessel. The gathered material would then be sent to a surveyor that would explore a virtual environment generated from the material in VR.

By using a LiDAR sensor integrated in the latest mobile devices from Apple, accurate 3D models of vessels could be generated from LiDAR scans. The quality of the LiDAR scans are good for simple environments but becomes insufficient in more complex environments. To supplement the LiDAR model to provide a higher level of detail, 360° images from a GoPro max were used. The 360° images hold a high quality, and relevant details such as rust and cracks are visible from them. Taking a LiDAR scan and the necessary 360° images take only a few minutes. From the gathered material, a virtual environment can quickly be created. This environment can then be explored in the VR application. Tools that provide functionality necessary to perform surveys were developed and integrated in the application. Users can seamlessly switch between the LiDAR model and 360° images, collaborate and communicate in the virtual environment with others via online functionality, and document their findings with a virtual camera and audio recorder. In addition, users can interact with informational datapoints retrieving information about relevant objects from a database, measure distances in the LiDAR model and download other virtual environments from within the application. All implemented tools work as desired.

The developed application is demonstrated to surveyors at Gard. The surveyors find the technology promising. However, they think the quality of the LiDAR scans are too low. The surveyors think a method like the one presented in the application could be used for some clients as a sorting tool to decide which vessels are worth investigating in further detail physically. All things considered, the developed application is considered successful as it enables virtual walkthroughs of vessels combined with working surveyor tools. A video demonstrating the developed application can be seen in the following video link.