6D Synthetic Data Generation Pipeline with Digital Representation of Structured Light Sensor

Abstract

Behovet for 3D datasett for bruk i datasynsoppgaver øker med den økte bruken av nevrale nettverk på datasynsoppgaver som 6D-estimering og og segmentering. Disse nevrale nettverkene trenger store mengder data for å trene modeller for å løse. Tradisjonelle metoder for å anskaffe slike datasett innebærer manuell merking og annotering av sanne verdier. Disse oppgavene er tungvint og repeterende, og har derfor gjort syntetisk datagenerering til en populær tilnærming til datasettproblemet. Syntetiske 3D-datasett genereres ved hjelp av datarendererte bilder og dybdeinformasjon. Fordelen med å bruke datamaskingenererte datasett er at sanne vardier kan samles direkte fra visualiseringsprogramvaren som brukes. Imidlertid er et iboende problem med bruk av syntetiske datasett, `` reality gap '', som er forskjellen mellom ekte data og datagenererte datasett.

For denne rapporten er målet å lage en ``pipeline process'' som genererer syntetiske data for bruk i 6D-posisjonsestimering for bin picking scenarier. Pipelinen skal også prøve å modellere realistisk støy, som etterligner ekte 3D-sensorer, ved å modellere en digital versjon av en strukturert lys-sensor i Blender. Målet var å finne ut om en slik 3D-sensor kunne opprettes og brukes i datagenereringsprosessen.

Utviklingen av strukturert lys-sensoren ble gjort gjennom å utforske de teoretiske konseptene som omhandler strukturert lys-algoritmer og projiserte mønstre og anvende disse i Blender programvaren. Den resulterende pipelinen ble laget til å være en add-on i Blender, som inneholder en valgbar strukturert lys-sensor som søker å modellere egenskapene til en ekte strukturert lys-scanner som skaper realistiske støyegenskaper og manglende verdier.

The need for 3D datasets for use in computer vision tasks is growing with the increased use of neural networks on computer vision tasks such as 6D pose estimation and and segmentation. These neural network need large amounts of data to train models for solving the problems at hand. Traditional methods for acquiring such datasets involve manual labeling and annotation of ground truth values. These tasks are cumbersome and repetitive, and has therefore made synthetic data generation a popular approach to the dataset problem. Synthetic 3D datasets are generated through the use of computer rendered images and spatial information. The advantage of using computer generated datasets is that the ground truth can be collected directly from the rendering software used. However, an inherent problem with using synthetic datasets, is the ``reality gap'', which is the difference between real captured data and computer generated data.

For this report the aim is to create a pipeline process that generate synthetic data for use in 6D pose estimation for bin picking scenarios. The pipeline also seek to model realistic noise, as created by real 3D scanners, by creating a digital version of a structured light camera in Blender. The aim was to find out if such a 3D sensor could be created, and applied to the data generation pipeline.

Developing the structured light camera was done through exploring the theoretical concepts of structured light algorithms and patterns and applying them to the Blender software. The resulting pipeline was created as a Blender add-on, which contained a selectable structured light sensor modeling the properties of a real structured light scanner creating realistic noise properties and missing values.