Generation of 3D Human Body by Using Dense Image Matching

Abstract

Fotogrammetri er en utfordrende metode som krever tunge beregninger og helst en topp moderne arbeidsstasjon. I nyere tid har kunstig intelligens spredd seg til en rekke tekniske felt for å løse praktiske problemer til stor nytte for samfunnet; i denne forstand er fotogrammetri ikke bare en utfordring, men en mulighet. Dette prosjektet hadde som mål å lage en metode for å minimere beregningskostnadene som trengs for å generere høykvalitets 3D-modeller av mennesker ved å kombinere fotogrammetri og kunstig intelligens. Flere neurale nettverk ble trent for å segmentere bilder av mennesker. For dette formålet ble Common Objects in Context (COCO) datasettet brukt. Disse neurale nettverkene ble så brukt til å segmentere en sekvens av bilder tatt fra forskjellige vinkler av et motiv for å fjerne omgivelsene. Disse bildene ble deretter lastet inn i en fotogrammetri-applikasjon, Meshroom, for å rekonstruere motivet i 3D. Ved å trene nettverkene til segmentere bilder av nye objekter, kan denne metoden brukes til å lage en digital 3D-modell av et hvilket som helst ønskelig objekt. Ved å fjerne omgivelsene reduseres både beregningskraften og tiden som trengs for å generere 3D-modellen. Metoden er derfor av høy relevans for 3D/modelleringsindustrien. Imidlertid er kvaliteten på den genererte 3D-modellen er sterkt avhengig av detaljeringsgraden på motivets overflate, og mer arbeid kreves for å forbedre kvaliteten på de genererte modellene.

Photogrammetry is a challenging method demanding heavy computations and preferably a state of the art workstation. And in recent times, Deep Learning has been spreading into numerous technical fields to solve practical problems on all fronts for great benefit to society; in this sense, photogrammetry is not just a challenge, but an opportunity. This project aimed to create a method to minimize the computation cost needed to generate high quality 3D models of the human body by combining photogrammetry and deep learning. Several neural network models were trained to segment images of persons. For this purpose, the Common Objects in Context (COCO) dataset was utilized. The neural network was used to segment a sequence of images taken from different angles of a subject in order to remove the surrounding environment. These images were loaded into a photogrammetry application, Meshroom, which reconstructed the subject in 3D. By retraining the network to segment new objects, this method can be used to create a 3D digital model of any number of objects. By removing the surrounding environment, the method reduces both the computational power needed and the time needed for postprocessing of the model. The method is therefore of high relevance to the 3D modeling industry. However, the quality of the model is highly dependent on the detail of the subjects surface, and more work is required to improve the quality of the generated models.