Remote vessel survey using VR
Abstract
I denne masteroppgaven ble en VR-applikasjon for eksterne skipsundersøkelser utviklet i spillmotorenUnity. Oppgaven ble gitt av det marine forsikringsselskapet Gard. Covid-19 pandemienhar gjort det vanskelig for Gard å gjennomføre fysiske skipsinspeksjoner på grunn av reiserestriksjoner.Å gjennomføre en fysisk inspeksjon kan også være kostbart og forurensende siden inspektørervanligvis reiser med fly. Nåværende metoder Gard har brukt for eksterne undersøkelser har ikkevært ansett som gode nok. En ny metode ble derfor foreslått. Den nye metoden foreslår å tildelemannskap på skip en LiDAR sensor og et 360° kamera for å scanne og ta bilder av de relevanteområdene på skipet. Materialet kan så sendes til en inspektør som genererer et virtuelt miljø fradet. Det virtuelle miljøet kan så utforskes i VR.
Ved å bruke en LiDAR sensor som er inkludert i nyere mobile enheter fra Apple, får man nøyaktige3D modeller fra scannene. Kvaliteten på LiDAR scannene er bra når enkle omgivelser scannes,men blir fort dårligere hvis omgivelsene blir komplekse. For å ta hensyn til dette brukes 360°bildene til å supplementere LiDAR modellen og gi et høyere detaljnivå enn det LiDAR sensorenklarer. For å ta 360° bilder brukes et GoPro Max kamera. Kameraet gir bilder av høy kvalitetmed gode detaljer. Det er mulig å se relevante detaljer som rust og sprekker fra bildene. Åta en LiDAR scan og de nødvendige bildene av en omgivelse tar bare noen få minutter. Fradet innsamlede materialet kan man lage et virtuelt miljø av de skannede omgivelsene. Dettemiljøet kan så utforskes av en inspektør i VR. Verktøy som gir nødvendig funksjonalitet for ågjennomføre en skipsinnspeksjon ble implementert og lagt til i den utviklede applikasjonen. Brukerekan sømløst bytte mellom LiDAR modellen og 360° bildene, samarbeide og kommunisere med andrevia nettverksfunksjonalitet og dokumentere mulige funn med et virtuelt kamera. I tillegg kanbrukere interagere med informasjonspunkter som henter info om relevante objekter fra databaser,måle avstander i LiDAR modeller og laste ned andre virtuelle miljøer fra applikasjonen. Alle deimplementerte verktøyene fungerer som forventet.
Den utviklede applikasjonen ble demonstrert for inspektører på Gard. Inspektørene synes teknologienvirker lovende, men synes kvaliteten på LiDAR scannene var for dårlig. Inspektørene trorat metoden som ble demonstrert kunne blitt brukt som et sorteringsverktøy for å bestemme hvilkeskip som er verdt å undersøke nærmere fysisk for noen av klientene deres. Med alt tatt i betraktningblir den utviklede applikasjonen ansett som vellykket, da den gjør det mulig å undersøke skipvirtuelt i tillegg til at alle de utviklede verktøyene fungerer som de skal. En video som demonstrererden utviklede applikasjonen kan bli sett ved å trykke på den følgende video lenken. In this thesis, a VR application for conducting remote vessel surveys was developed in the Unitygame engine. The task was given by the marine insurance company Gard. The COVID-19 pandemichas made it difficult for Gard to conduct physical surveys due to travel restrictions. Inaddition, conducting physical vessel surveys can be costly and leaves an environmental footprintbecause of airplane travel. Current methods used by Gard for conducting remote surveys weredeemed not satisfactory, and a new method was therefore proposed. This method proposes toprovide vessel crew with a LiDAR sensor and a 360° camera. The provided equipment could thenbe used to scan and photograph the vessel. The gathered material would then be sent to a surveyorthat would explore a virtual environment generated from the material in VR.
By using a LiDAR sensor integrated in the latest mobile devices from Apple, accurate 3D modelsof vessels could be generated from LiDAR scans. The quality of the LiDAR scans are good forsimple environments but becomes insufficient in more complex environments. To supplement theLiDAR model to provide a higher level of detail, 360° images from a GoPro max were used. The360° images hold a high quality, and relevant details such as rust and cracks are visible fromthem. Taking a LiDAR scan and the necessary 360° images take only a few minutes. From thegathered material, a virtual environment can quickly be created. This environment can then beexplored in the VR application. Tools that provide functionality necessary to perform surveys weredeveloped and integrated in the application. Users can seamlessly switch between the LiDAR modeland 360° images, collaborate and communicate in the virtual environment with others via onlinefunctionality, and document their findings with a virtual camera and audio recorder. In addition,users can interact with informational datapoints retrieving information about relevant objects froma database, measure distances in the LiDAR model and download other virtual environments fromwithin the application. All implemented tools work as desired.
The developed application is demonstrated to surveyors at Gard. The surveyors find the technologypromising. However, they think the quality of the LiDAR scans are too low. The surveyors thinka method like the one presented in the application could be used for some clients as a sorting toolto decide which vessels are worth investigating in further detail physically. All things considered,the developed application is considered successful as it enables virtual walkthroughs of vesselscombined with working surveyor tools. A video demonstrating the developed application can beseen in the following video link.