Deep Procedural Generation of 3D Objects Using Real-World Data

Abstract

Algoritmer for 3D-objektgjenkjenning brukes i diverse felter som virtuell virkelighet, selvkjørende biler og robotikk for å innhente nyttig informasjon i tredimensjonelle systemer som posisjoner, positurer og klasser til objekter. Å evaluere slike algoritmer krever en stor mengde 3D-objekter fra et bredt spekter av kategorier. For øyeblikket eksisterer det ikke noe virkelig stort og mangfoldig datasett av 3D-objekter, som gjør å evaluere algoritmer for 3D-objektgjenkjenning til en vanskelig oppgave. Hovedgrunnen til manglen på et slikt datasett er at det krever mye tid og ressurser å lage 3D-objekter. Derfor utforsker denne oppgaven en alternativ fremgangsmåte for å lage et 3D-objektdatasett ved å prosedyrisk generere objektene ved bruk av dyp læring. Hensikten er å kunne drastisk redusere tiden som kreves for å generere et stort 3D-objektdatasett.

Oppgaven fokuserer spesifikt på dyp prosedyrisk generering av 3D-objekter ved å trene med reell bilde-data, med begrunnelse at reell data er enklere å anskaffe og kan produsere mer realistiske resultater. Følgelig blir en aktuell tredimensjonell dyp generativ model trent med to forskjellige reelle bilde-datasett, og resultatene blir evaluert med forskjellige evalueringsmetoder. Selv om de oppnådde resultatene tilsier at den foreslåtte metoden ikke er tilstrekkelig for å generere et nytt datasett av 3D-objekter, blir et grunnlag lagt som fremtidige metoder kan forbedre.

3D object recognition algorithms are used in various fields including virtual reality, autonomous vehicles, and robotics to determine useful information about a 3D scene such as object positions, poses, and classes. The evaluation of such algorithms relies on a large number of 3D objects from a wide range of categories. Currently, no genuinely large and diverse dataset of 3D objects exists, making the task of evaluating 3D recognition algorithms difficult. The main reason behind the absence of large and diverse 3D datasets is the time and resource intensive process of creating 3D objects. As such, this thesis explores an alternative approach to 3D object dataset creation by procedurally generating the objects using deep learning, which can greatly reduce the time required to generate a large 3D object dataset.

The thesis focuses specifically on deep procedural generation of 3D objects using real-world image data for training, with the rationale that real-world data is easier to acquire and can produce more realistic results. Accordingly, a state-of-the-art 3D generative deep model is trained using two different real-world image datasets, and the resulting generated objects are evaluated through different evaluation metrics. While the results obtained suggest that the proposed method is not capable of generating a novel 3D object dataset of adequate quality, a foundation is laid for future works to improve on.