Machinery Maintenance with Augmented Reality (AR): A Practical Approach

Abstract

Denne masteroppgaven utforsker innovative løsninger for å vedlikeholde fartøyer i avsidesliggende marine miljøer, spesifikt adresserer utfordringene med dårlig internettforbindelse til sjøs. Nødvendigheten av effektive vedlikeholdsstrategier er kritisk i den maritime industrien, hvor forsinkede reparasjoner kan føre til betydelige driftskostnader og miljøpåvirkninger på grunn av for høyt drivstofforbruk.

Forskningen identifiserer et gap i dagens vedlikeholdspraksis, som ofte er avhengig av å sende teknikere fra land, noe som resulterer i høye reisekostnader og lengre nedetid. For å løse dette foreslår oppgaven utviklingen av en utvidet virkelighet (AR)-applikasjon skreddersydd for Microsoft HoloLens 1. Denne applikasjonen forbedrer vedlikeholdsmuligheter på stedet ved å gi sanntid, trinn-for-trinn veiledning gjennom AR, og minimerer dermed behovet for ekstern ekspertintervensjon og reduksjon av fartøyets tomgangstid.

En nøkkelinnovasjon i denne studien er forenklingen av modeller for gjenkjenning av treningsobjekter, en tilnærming designet for å enkelt integreres i bransjepraksis uten å endre eksisterende arbeidsflyter. Denne metoden innebærer å generere syntetiske treningsbilder ved å bruke STL2Photo-applikasjonen, som effektiviserer forberedelsesprosessen for objektdeteksjonstrening og reduserer implementeringskompleksiteten.

Forskningsmetoder inkluderer utvikling og testing av AR-applikasjonen under simulerte forhold for å evaluere effektiviteten til å forbedre vedlikeholdseffektiviteten og nøyaktigheten. Applikasjonen opererer med minimale endringer i dagens arbeidsmiljø, og sikrer at den sømløst kan integreres i eksisterende maritime operasjoner.

Funnene i denne oppgaven understreker potensialet til AR-teknologier for å revolusjonere maritimt vedlikehold, og gir betydelige reduksjoner i drivstofforbruk og miljøpåvirkning ved å optimalisere reparasjonstider og prosedyrer. Denne forskningen bidrar til den bredere diskusjonen om digital transformasjon i den maritime industrien, og understreker behovet for innovative løsninger som øker operasjonell effektivitet og bærekraft.

This master thesis explores innovative solutions for maintaining vessels in remote marine environments, specifically addressing the challenges posed by poor internet connectivity at sea. The necessity for efficient maintenance strategies is critical in the maritime industry, where delayed repairs can lead to significant operational costs and environmental impacts due to excessive fuel consumption.

The research identifies a gap in current maintenance practices, which often rely on sending technicians from shore, resulting in high travel costs and extended downtime. To address this, the thesis proposes the development of an augmented reality (AR) application tailored for Microsoft HoloLens 1. This application enhances on-site maintenance capabilities by providing real-time, step-by-step guidance through AR, thus minimizing the need for external expert intervention and reducing the vessel’s idle time.

A key innovation of this study is the simplification of training object detection models, an approach designed to be easily integrated into industry practices without altering existing workflows. This method involves generating synthetic training images using the STL2Photo application, which streamlines the preparation process for object detection training and reduces implementation complexities.

Research methods include the development and testing of the AR application under simulated conditions to evaluate its effectiveness in enhancing maintenance efficiency and accuracy. The application operates with minimal changes to the current working environment, ensuring that it can be seamlessly integrated into existing maritime operations.

The findings of this thesis underscore the potential of AR technologies to revolutionize maritime maintenance, offering significant reductions in fuel consumption and environmental impact by optimizing repair times and procedures. This research contributes to the broader discussion on digital transformation in the maritime industry, emphasizing the need for innovative solutions that enhance operational efficiency and sustainability.