Automated Video Segmentation in Underwater Ship Inspections Exploiting Deep Learning, Computer Vision, and Image Enhancement

Abstract

Inspeksjon av skipsskrog er en avgjørende del av å administrere og opprettholde standarden på aldrende skip. Undervannsinspeksjoner av skip, utført av dykkere eller fjernstyrte undervannsdroner (ROVs), kan være et godt alternativ til tørrdokkinspeksjoner. En tørrdokkinspeksjon er langt dyrere og mer tidkrevende enn å uføre en undervannsinspeksjon. På grunn av fremgangen til ubemannede undervannsfarkoster, har undervannsinspeksjoner fått mer oppmerksomhet de siste årene. Skipsinspeksjoner gjøres visuelt for å oppdage defekter og få oversikt over skipets tilstand. Dette kan gjøres ved å evaluere mengden begroing, malingsavskalling og korrosjon på skroget og andre deler av skipet. Undervannsinspeksjonene gjøres manuelt ved å visuelt evaluere video og bilder som blir samlet av en ROV. Automatisering av dette arbeidet kan redusere kompleksiteten, kostnadene og inspeksjonstiden, som er hovedmotivasjonen for arbeidet med denne oppgaven.

Oppgaven fokuserer på bruk av dyplæring kombinert med bildeforbedring og datasyn for å utføre pikselvis semantisk segmentering av et skipsskrog under en undervannsinspeksjon. Treningen av dyplæringsmodellen gjøres på LIACI-datasettet, som inneholder 1893 bilder med ti tilsvarende klasser som representerer gjenstander som ofte støtes på under en undervannsinspeksjon.

Denne oppgaven presenterer en metode for økt ytelse og kontinuitet under en automatisert skipsinspeksjon, bestående av en semantisk segmenteringsmodell basert på dyp overvåket læring, bildeforbedring, og prediksjonsgjennomsnitt basert på datasyn. En dyplæringsmodell foreslås basert på sammenligninger med moderne modeller og andre versjoner av den foreslåtte modellen. Den foreslåtte modellen oppnår en IoU-forbedring på 3,8% sammenlignet med standardmodellen i en femdobbel kryssvalideringstest. En metode er foreslått for bedre videosegmentering ved å utnytte informasjonen fra forrige prediksjon ved å bruke bildematching, 2D-transformasjon, og et adaptivt vektet gjennomsnitt mellom forrige og nåværende prediksjon. Denne metoden viste mer konsise og nøyaktige prediksjoner enn å evaluere hver ramme separat. Bildeforbedring brukes for å teste om det kan øke ytelsen til en segmenteringsmodell og øke antallet gode matcher mellom to bilder. Syv bildeforbedringsteknikker ble testet og sammenlignet, der to metoder økte ytelsen til både segmenteringsmodellen og modellen for 2D-transformasjoner. Et generativt konkurrerende nettverk (generative adversarial network) ble opplært til å utvide treningssettet med genererte bilder basert på segmenteringsmasker. Trening på det utvidede datasettet viste lovende resultater med få reelle bilder i treningssettet, men dårligere resultater ved utvidelse av datasettet basert på masker som allerede finnes i datasettet.

Videoer av undervannsinspeksjoner av skip ble brukt til å teste evnen til videosegmentering under et realistisk undervannsinspeksjonsscenario. Den endelige foreslåtte metoden, som kombinerer maskinlæring, bildeforbedring og datasyn, viste betydelig bedre ytelse enn standard maskinlæringsmetode. Videosegmenteringen gjort av den endelige foreslåtte modellen var i stand til å yte på et tilfredsstillende nivå, og viste mulighetene og potensialet for automatiserte undervannsskipsinspeksjoner. Datasynsmetoden hadde en stor positiv innvirkning på den totale ytelsen under videosegmentering, og beviser at bruk av ekstra posisjonsinformasjon er viktig for presis segmentering under visuelle inspeksjoner.

Ship hull inspections are a crucial part of managing and maintaining the standard of aging ships. In-water ship inspections, performed by divers or remotely operated vehicles (ROVs), can be a viable alternative to dry dock inspections. A dry dock inspection is far more expensive and time-consuming than an underwater ship inspection. Therefore, with the progress of unmanned underwater vehicles, underwater ship inspections have received more attention in recent years. Ship inspections are done visually to discover defects and get an overview of the state of the ship, by evaluating the amount of growth, paint peel, and corrosion present. The underwater inspections are done manually by visually evaluating a video taken by the ROV. Automating this task can reduce the complexity, cost, and inspection time, which is the main motivation for the work of this thesis.

The thesis focuses on the use of deep learning in combination with image enhancement and computer vision to perform pixel-wise semantic segmentation of a ship hull during underwater ship inspections. The training is done on the LIACI dataset, which contains 1893 images with ten corresponding labels representing objects of interest commonly encountered during an underwater ship inspection.

This thesis presents a method for increased performance and consistency during an automated ship inspection, consisting of a semantic segmentation model based on deep supervised learning, image enhancing, and prediction averaging based on computer vision. A deep learning model is proposed based on comparisons with state-of-the-art models and other versions of the proposed model. The proposed model achieves an IoU improvement of 3.8% compared to the standard model in a five-fold cross-validation test. A method is proposed for better video segmentation utilizing the information from the previous prediction by using image matching, 2D transformation, and an adaptive weighted average between the previous and current prediction. This method showed more concise and accurate predictions than evaluating each frame separately. Image enhancement is applied to test if it can increase the performance of a segmentation model and increase the number of well-matched features between two images. Seven image enhancement techniques were tested and compared, where two methods increased the performance of both the segmentation model and the model for 2D transformations. A generative adversarial network was trained to augment the training set with generated images based on segmentation masks. Training on the augmented dataset showed promising results with few real images in the training set, but poorer results when augmenting the dataset based on masks already present in the dataset.

Videos of underwater ship inspections were used to test the capability of video segmentation during a realistic underwater inspection scenario. The final proposed method, combining machine learning, image enhancement, and computer vision, showed significantly better performance than the standard machine learning method. The video segmentation done by the final proposed model was able to perform at a satisfactory level, showing the possibilities and the potential of automated underwater ship inspections. The computer vision method had a large positive impact on the total performance during video segmentation and proves that utilizing additional position information is important for precise segmentation during visual inspections.