Machine Learning using High Resolution Zivid Point Clouds on a High Performance Cluster
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3027669Utgivelsesdato
2022Metadata
Vis full innførselSamlinger
Sammendrag
I dette masterprosjektet presenteres det metoder og arbeid som muligjør bruken av høyoppløste Zivid punktskyer i maskinlæringsbiblioteket Minkowski Engine skrevet av Chris Choy. I tillegg har det blitt laget et datasett bestående av Zivid punktskyer til å trene nevrale nettverk med kodebibliotekene Fully Convolutional Geometric Features (FCGF) og Deep Global Registration (DGR).
Treningen av både FCGF og DGR modellene med Zivid punktskyer ble utført i en Singularity container på NTNU Idun high performance cluster. Containeren ble bygget for å kunne ta i bruk Nvidia sin siste CUDA arkitektur og dermed også A100 GPUene på Idun til å trene nevrale netverk i PyTorch. I tillegg inneholder containeren de nøvendige bibliotekene til å gjennomføre preprosessering av rådataene fra Zivid 3D-kameraet for å kunne bruke punktskyene til trening i FCGF og DGR bibliotekene.
Zivid punktsky-datasettet ble laget ved å skanne flere objekter fra ulike vinkler. Datasettet som presenteres i denne oppgaven er begrenset med tanke på størrelse og diversitet. Det fungerer som et konseptbevis for å trene modellene og viser at det er mulig å generere datasettet. Hvert 3D-bilde i datasettet er omtrent en størrelsesorden større enn bildene i 3DMatch datasettet som originalt ble brukt i FCGF og DGR publikasjonene.
Zivid datasettet gjorde det mulig å bruke FCGF og DGR bibliotekene med Zivid punktskyer som inndata. Vi fikk til å kjøre treningsprogrammet som hører til FCGF biblioteket og resultatene indikerte at det var problemer med kalkuleringen av feil for hver epoke. Dette problemet førte til at det ikke var noen fremgang i ytelse for det nevrale nettverket. Vi antar at justering av de feilrelaterte hyperparameterene kan føre til forbedringer i feilkalkuleringen. Dette foreslås som et interessant tema for videre arbeid. Resultatene fra trening av DGR modellen indikerte også problemer med utregningen av feil. Siden DGR treningen er avhengig av en velfungerenede FCGF modell antas det at problemene i DGR er relaterte til feature extraction i stedet for problemer med å utføre registrering på punktskyene. In this Master's thesis, methods and work are presented that enable the use of high resolution Zivid point clouds in machine learning using the Minkowski Engine library created by Chris Choy. Additionally, a data set consisting of Zivid point clouds was created in order to perform training in the Fully Convolutional Geometric Features (FCGF) and Deep Global Registration (DGR) libraries.
The training of both the FCGF and DGR models using Zivid point clouds was performed in a Singularity container on the NTNU Idun high performance cluster. The container was created to enable the utilization of the latest Nvidia A100 GPU's for training the neural networks in PyTorch. Additionally, the container is able to perform the preprocessing of the raw Zivid point clouds in order to create a data set for use with the FCGF and DGR libraries.
The Zivid point cloud data set was created by scanning multiple objects from different angles. The data set presented in this thesis is limited in terms of size and diversity, but functions as a proof of concept when training neural networks. Each scan in the data set is close to an order of magnitude larger in terms of megabytes than in the 3DMatch data set originally used in FCGF and DGR.
The Zivid data set enabled the FCGF and DGR libraries to be used with Zivid point clouds as input data. We were able to perform training using the Zivid data set and the results indicated problems in loss calculation. The FCGF model was having issues with calculating loss which in turn lead to no apparent progress in the training process. It is assumed that tuning the loss related hyperparameters in the trainer configuration can lead to improvements in loss calculations. This is proposed as an interesting topic off study going forward. The results from training the DGR model also indicated loss related errors. Although, since the DGR trainer requires a functioning FCGF model it is assumed that these errors are related to feature extraction rather than only failure to perform registration on the point clouds.