Domain Adaptation for Maritime Instance Segmentation: From Synthetic Data to the Real-World

Abstract

Denne avhandlingen tar sikte på å utforske praktiske implikasjoner ved bruk av en maritim simulator for rask generering av syntetiske instans-baserte sannhets-merkede bilder med det formål å trene modeller basert på konvolusjonelle nevrale nettverk (CNNs) for instans-segmentering og klassifisering av bilder i maritime scenarioer. Motivasjonen har vært å bidra til å overvinne utfordringene knyttet til å bygge store reelle datasett, grunnet den iboende vanskeligheten knyttet til anskaffe relevante bilder og det tidkrevende manuelle merkingsarbeidet, ved bruk av datagrafikk. I tillegg tar avhandlingen til sikte på å undersøke om metoder innenfor fag-området Explainable AI (XAI) kan brukes til å generere forklaringer for instans-segmenteringsmodeller.

Først presenteres et fagområde XAI. Deretter fremlegges et forslag for å dedikere en eksisterende XAI-metode, kalt Local Interpretable Model-agnostic Explanations (LIME), til instans-baserte segmenteringsmodeller for å generere forklaringer på prediksjoner. Senere blir LIME vist til å kunne gi forklaringer på både objekt-deteksjon og silhuett-prediksjon fra en instans-basert modell.

Deretter utvikles en metode for å skaffe syntetiske bilder fra en maritim simulator med instans-basert sannhets-merking av objekter, basert på en løsning med tilgang kun til brukergrensesnittet og modellbiblioteket. To opptak av samme simulering med manipulering av tekstur mellom disse to opptakene, fremhever objektene og fungerer i etterkant som grunnlag for anskaffelse og merking av bilder. Deretter tas par med synkroniserte skjermbilder, med synkronisering basert på intern logg-klokke i simulatoren gjort visuelt tilgjengelig i brukergrensesnittet og avlest automatisk ved hjelp av en Random Forest digital tall klassifikator. Instans-baserte sannhets-merker blir deretter generert basert på bilder med manipulert tekstur ved hjelp av filtrering av bakgrunns-farger, morfologiske transformasjoner, beregninger av tilkoblede komponenter, sannsynlighets-hierarkisk clustering basert på Variasjonel Bayesisk læring av Gaussiske komponent-modeller (VGBMM) og agglomerativ hierarkisk clustering, og etterfølgende manuell vurdering og justering. Denne metoden tillater for videre studier av implikasjonene ved bruk av syntetiske data.

Deretter utføres et eksperiment basert på et syntetisk datasett, et reelt datasett av liten størrelse, et konvolusjonelle nevrale nettverk kalt Mask R-CNN, domenetilpasningsteknikker basert på både tre-trinns gradvis finjustering og full finjustering, og data-augmentering. Seks forskjellige modeller trenes; To rene syntetiske modeller, to reelle domenetilpassede modeller basert på den beste syntetiske modellen på det syntetiske testsettet, og to rene reelle kontrollmodeller. Resultatene tyder på at bruken av syntetiske bilder har en merkbar påvirkning på prestasjonen til alle domenetilpassede modeller, og at de inneholdt en større del av kunnskaper på tvers av domenene sammenlignet med de korresponderende kontrollmodellene. Videre tyder resultatene fra de rene domenemodellene at gradvis finjustering oppnår en bedre prestasjon enn full finjustering, og var bedre i stand til å lære kunnskaper på tvers av domenene. For de tilpassede modellene oppnådde gradvis finjustering og full finjustering omtrent like stor prestasjon. Videre indikerer resultatene at læring av kunnskaper på tvers av domenene fortsetter etter stagnasjon i valideringstap under opplæring av syntetiske modeller, noe som tyder på at valideringsdata fra både det syntetiske og det reelle domenet bør brukes ved trening av syntetiske modeller.

This thesis aims to explore practical implications from using a maritime simulator for quick generation of synthetic labelled images, with the purpose of training Convolutional Neural Networks (CNNs) for instance segmentation and classification in maritime scenarios. The motivation has been to contribute towards overcoming the challenges associated with building large real-world datasets due to the intrinsic difficulty of image acquisition and the time-consuming manual labelling effort, through the use of computer graphics. In addition, it aims to investigate if methods within the area of Explainable AI (XAI) can be used to obtain explanations from instance segmentation models.

First, the area of XAI is presented and a method is proposed for dedicating an existing XAI method named Local Interpretable Model-agnostic Explanations (LIME) for instance segmentation models for generating explanation. Later, the proposed method shows that LIME can be used to explain both object detection and mask prediction from an instance segmentation model

Second, a method is developed for acquiring synthetic images from a maritime simulator with instance-level labels of deployable objects, based on a solution with access only to the user interface and the model library, that is without access to the software. Two replays of the same simulation, and manipulation of texture between these two replays highlights the objects and serves as basis for the acquisition and labeling of images. Synchronized pairs of images is then obtained by screen capture from these two replays, with timing based on reading the internal log clock made visually available in the user interface using a Random Forest digital digit classifier. Object masks are subsequently extracted from images with manipulated texture using thresholding of weak background colors, morphological transformation, connected component calculation, probabilistic hierarchical clustering based on Variational Bayesian learning of Gaussian Mixture Models (VBGMM) and agglomerative hierarchical clustering, and subsequent manual assessment and adjustment. This method allows for further studying the implications of using synthetic data.

Last, an experiment is conducted based on a synthetic dataset, a limited sized real-world dataset, a Convolution Neural Network (CNN) named Mask R-CNN, domain adaptation techniques based on both three-stage gradual fine-tuning and full fine-tuning, and data augmentation. LIME is also part of this experiment. Six different models are trained; two pure synthetic models, two real-world adapted models based on the best performing synthetic model on the synthetic test-set, and two pure real-world control models. Results suggests that the use of synthetic images has a slight performance impact on all the adapted models and that they contained a greater portion of knowledge about cross-domain features than the corresponding control models with in terms of fine-tuning approaches. In the case of the pure domain models, gradual fine-tuning achieved better performance than full fine-tuning and was more capable of learning domain-invariant features. In the case of the adapted models, gradual fine-tuning and full fine-tuning achieved approximately equal performance. Furthermore, results indicate that learning of domain-invariant features continuous after stagnation in validation-loss during the training of synthetic models, suggesting that validation data from both the synthetic and real-world domain should be used when training of synthetic models.