Elimination of Reflections in Laser Scanning Using Transfer Learning from Simulation-Based Data to Real-World Data

Abstract

Automatisering av robotsveising krever presis og korrekt informasjon. Laserskanning er en metode for å samle relevant data om sveiseområde, men laseren kan forårsake re- fleksjoner på skinnende materialer, som resulterer i unøyaktig data. Denne oppgaven utforsket bruken av overføringslæring med U-net. Den første opplæringen ble utført på et omfattende simulert datasett før læringen ble overført på et betydelig mindre datasett med reelle bilder. Det reelle datasettet inneholdt refleksjoner på både stål og aluminium. Totalt sett var overføringslæringen vellykket, selv med bare en håndfull reelle bilder. Mod- ellene demonstrerte en sammenheng mellom læringsraten og optimaliseringsalgoritmene, spesielt siden ikke-adaptive og adaptive optimaliseringsalgoritmer bruker læringsraten på forskjellige måter. Det var mindre forskjeller mellom resultatene på de to materialene enn forventet. Oppgaven diskuterer årsakene bak dette, og legger hovedvekt på det om- fattende simulerte datasettet, tykkelsen på laserstrålen og forskjeller mellom reelle bilder og simulerte bilder. Resultatene viser muligheten for implementasjon i industrien, selv om undersøkelser av potensielle brukere og deres behov må utføres for å tilpasse mod- ellene. De lovende resultatene er imidlertid spennende for potensialet til denne typen overføringslæring i industrien.

Robotic welding automation necessitates precise and correct information about the weld- ing environment. Laser scanning is one method of gathering this data, but the laser might cause reflections on shiny materials, resulting in inaccurate data. This thesis explored the use of transfer learning with U-net. The initial training was executed on an extensive simulated dataset before transfer learning on a significantly smaller real-world dataset. The real-world dataset contained reflections on both steel and aluminium. Overall the transfer learning was successful, even with only a handful of real-world images. The mod- els demonstrated that the learning rate and optimization algorithms are interconnected, particularly because non-adaptive and adaptive optimizers employ the learning rate in dierent ways. There were smaller dierences between the results on the two materials than expected. The thesis discuss the reasons behind this, the main being the extensive simulated dataset, the thickness of the laser beam and dierences between the real-world and simulated images. The success of the transfer learning models opens the possibility for industry implantation, though research of potential users and their needs must be conducted in order to customize the models. However, the promising results are exciting for the potential of this type of transfer learning in the industry.