Synthesizing Photo-Realistic images from a Marine Simulator via Generative Adversarial Networks

Abstract

Det er dyrt å skaffe enorme mengder data fra den virkelig verden. Derfor er det rimelig å trene deteksjonsalgoritmer i et simulert miljø. Imidlertid er det en forskjell mellom simulert miljø og den virkelige verden referert til som realitetsgapet. Følgelig kan en visjonsbasert algoritme trent i et simulert miljø generere feil når kunnskapen overføres til den virkelige verden. Dermed har denne oppgaven som mål å bruke generative motsigende nettverk (GAN) til å forbedre datakvaliteten anskaffet av en marin simulator og gjøre den mer realistisk for å oppnå bedre deteksjonsalgoritmer i det marine miljøet. Syklus GAN (cycleGAN) brukes til å generere fotorealistiske bilder basert på en simulator av det autonome ReVolt-fartøyet, etterfulgt av å trene et maske regionalt innviklet nevralt nettverk (Mask R-CNN) i det simulerte- og genererte miljøet. De resulterende modellene blir testet i det virkelige miljøet, og deres prediksjoner blir forklart med forklarbar kunstig intelligens. Resultatene viser at trening av Mask R-CNN i et cycleGAN-generert miljø generaliserer bedre til det virkelige miljøet enn den simulator-trente modellen. Videre avslørte forklarbar kunstig intelligens at modellen som ble trent i det genererte miljøet, baserer sin prediksjon på mer korrekte funksjoner enn den simulator-trente modellen når den ble testet i det virkelige miljøet. Dermed har cycleGAN bevist sin evne til å forbedre datakvaliteten anskaffet av en marin simulator og oppnå bedre Mask R-CNN prediksjoner i det virkelige miljøet.

Obtaining vast amounts of quality real-world data is expensive; therefore, it is reasonable to train detection algorithms in a simulated environment. However, there is a difference between simulated- and real-world environment referred to as the reality gap. Consequently, a vision-based algorithm trained in a simulated environment could generate failure when transferring its knowledge to real-life. Thus, this thesis aims to utilize the generative adversarial network (GAN) to improve the data quality acquired by a marine simulator and make it more realistic to achieve better detection algorithms in the marine environment. Cycle GAN (cycleGAN) is used to generate photo-realistic images based on a simulator of the autonomous ReVolt vessel, followed by training mask regional convolutional neural network (Mask R-CNN) in the simulated- and generated environment. The resulting models are tested in the real-world environment, and their predictions are explained by explainable artificial intelligence. The results show that training Mask R-CNN in a cycleGAN generated environment generalizes better to the real-world environment than the simulator trained model. Moreover, the explainable artificial intelligence revealed that the model trained in the generated environment base its prediction on more correct features than the simulator trained model when tested in the real-world environment. Thus, cycleGAN has proved its ability to improve the data quality acquired by a marine simulator and achieve better Mask R-CNN predictions in the real-life.