Semantic Dataset Generation and Detection For Industrial Environments

Abstract

Punktskyinnhenting og semantisk segmentering er et viktig verktøy i digitaltalis- eringen av industrianlegg, men mye av dette arbeidet forblir idag manuelt. I samarbeid med Cognite, som leverer Cognite Data Fusion (CDF) for å samle og behandle enorme mengder data for industrielle kunder, har denne masteropp- gaven som mål å undersøke bruken av semantisk segmentering for autonomi i industrielle soner. Vi fokusere på mangelen av dataset, og presentere en ny Syntetisk Semantisk Dataset Generator (SSDG) for å kunne lage verdifulle 3D- punktsky datasett for trening av semantiske segmenteringsnettverk. Det settes spesielt fokus på å lukke virkelighetsgapet mellom virkelige og syntetisk genererte data ved å bruke domenerandomisering og data augumentasjon. Det finnes idag ingen open-source industrielle punktskyer. For å muliggjøre bruk og distribusjon av dyplæringsmetoder for 3D semantisk segmentering i industrisoner, samt valid- ering av det foreslåtte SSDG-metoden, bygger vi et høykvalitets industrielt LiDAR- datasett som inneholder 3,7 millioner datapunkter. For å validere det industrielle datasettet presenterer vi resultater og en kvalitativ analyse av state-of-the-art seg- menteringsnettverk trent på datasettet. Resultatene viser det det beste nettverket oppnår en god mIoU på 87,88%. Metoden vår produserer et nyttig industrielt se- mantisk punktskydatasett som kan brukes i fremtidige persepsjonsrørledninger for simultan lokalisering og kartlegging (SLAM), visuell stedsgjenkjenning og lig- nende. Den Syntetiske Semantisk Dataset Generatoren (SSDG) er offentlig tilgjen- gelig, noe som gjør det mulig for forskere generere nye datasett skreddersydd for deres behov.

Point cloud acquisition and semantic segmentation is an essential tool in the digitalization of industrial plants, yet much of this work remains manual. In collaboration with Cognite, who provides Cognite Data Fusion (CDF) to gather and process enormous volumes of data for industrial customers, this master thesis aims to investigate the use of semantic segmentation for autonomy in industrial zones. We focus our efforts on the lack of annotated data, and present a novel Synthetic Semantic Dataset Generator (SSDG) to be able to create valuable 3D point cloud datasets for training semantic segmentation networks. Particularly focus is placed on closing the reality gap between real-world and synthetically generated data by employing domain randomization, data augmentation, and increasing resemblance by modeling a real-world lidar with noise. No ready-labeled large open-source industrial point cloud exists to date. To enable the usage and deployment of deep learning methods in the context of 3D semantic segmentation in industrial zones, as well as validating the proposed SSDG method, this thesis builds a high quality industrial LiDAR dataset containing 3.7 million data points collected from a set of four commonly found object categories. To validate the industrial dataset, we present point cloud segmentation results and a qualitative analysis from state-of-the-art segmentation networks and assess the quality and usability of the dataset. The results demonstrate that the best segmentation network achieves a good overall segmentation mIoU of 87.88%. Our method produces a useful industrial semantic point cloud dataset that can be employed in future perception pipelines for Simultaneous Localization and Mapping (SLAM), visual place recognition and the like. The Synthetic Semantic Dataset Generator (SSDG) is publicly available, enabling researchers to generate new labeled datasets tailored to their needs.