Evaluating Apple's integrated LiDAR devices for Indoor 3D Modelling

Abstract

Målet med denne masteroppgaven er å se på mulighetene for automatisert innendørs modellering ved bruk av lavprissensorer som mobiltelefoner, nå nylig med innebygd LiDAR-sensor. Mobiltelefonen som brukes er Apples iPhone 12 Pro, som er den første mobiltelefonen med integrert LiDAR-sensor. LiDAR-sensoren gir dybdeinformasjon for piksler i et fargebilde, noe som kan hjelpe til med 3D-modellering. Rekkevidden til mobiltelefonen er mellom 1-5 meter, noe som gjør den kun relevant for nærliggende objektskanning eller innendørsmiljøer. Denne artikkelen presenterer resultatene av et skanningseksperiment utført ved NTNU. Det nye bidraget er et databehandlingsprogram for behandling av Apples LiDAR-data. Programmet er skrevet i Python 3.7, ved hjelp av 3D-behandlingsbiblioteket Open3D. To ekstra applikasjoner har også blitt brukt til å utføre separate skanninger for sammenligning, SiteScape og Pix4D Catch + Cloud. Resultatene vil bli evaluert mot "ground truth" - en skanning utført av en Trimble SX10-skanningsenhet.

The aim of this master thesis is to look at the opportunities for automated indoor modeling using low-cost sensors such as mobile phones, now recently with a built-in LiDAR sensor. The mobile phone used is Apple's iPhone 12 Pro, which is the first mobile phone with an integrated LiDAR sensor. The LiDAR sensor provides depth information for pixels in a color image, which can help aid 3D modeling. The range of the mobile phone is between 1-5 meters, which makes it only relevant for close object scans or indoor environments. This article presents the results of a scanning experiment executed at NTNU. The new contribution is a data processing program for processing Apple's LiDAR data. The program is written in Python 3.7, using the 3D processing library Open3D. Two additional applications have also been used to execute separate scans for comparison, SiteScape and Pix4D Catch + Cloud. The results will be evaluated against "ground truth" - a scan executed by a Trimble SX10 scanning device.