TR3DRoofs: A Urban Roof Dataset - A New Dataset for Deep Learning-based Segmentation of Roof Structures in LiDAR Point Clouds

Abstract

Stadig blir behovet for tiltak for å redusere effekten av klimaendringene mer kritisk. Ved å fremme bruken av fornybar energi, kan man sørge for opptil 90% av CO2 reduksjonene som behøves innen 2050. Betydningen av 3D data blir stadig tydeligere innenfor dette fagfeltet, da detaljerte modeller kreves for å gjøre dagens moderne byer mer effektive og miljøvennlige.

I denne oppgaven ønsker vi å bidra til å tilgjengeliggjøre 3D data ved å utforske anvendbarheten til punktsky-data i en av dagens største trender innenfor automatiserings-teknologi, kunstig intelligens. Vi vil spesifikt sette et søkelys på automatisering av segmenterings-steget i etableringen av 3D modeller av tak-strukturer. Vi presenterer her et nytt datasett for bruk i dyp læring ment for å utføre semantisk segmentering av 3D-punktskyer bestående av tak-strukturer. Vårt mål er å tilby et datasett av høy kvalitet, basert på ekte tak-strukturer, som skal resultere i gode prediksjoner av tak-segmenter, og være anvendbart for bruk i Norge.

Datasettet er basert på "Light Detection and Ranging" (LiDAR) data, samlet inn over Trondheim kommune. To ulike versjoner av datasettet er etablert. Det originale datasettet består av 906 tak i Trondheims-området. Begge datasett inneholder punkt manuelt annotert med én av syv definerte taktyper, samt en videre inndeling i individuelle takplan. Metoder for å utføre data augmentering er foreslått og anvendt for å etablere en alternativ versjon av datasettet med flere treningseksempler.

Videre er datasettets egnethet for bruk i trening av dype neurale nettverk evaluert ved hjelp av et velkjent nettverk for prosessering av punktskyer, PointNet++. En stor del av det augmenterte datasettet er brukt for treningen av nettverket, før testing er gjennomført på den gjenværende delen. Resultatet fra denne prosessen er predikerte segmenter av tak-strukturer inndelt i ulike plan. Resultatene indikerer at vårt 3D-datasett er velegnet for å trene dype neurale nettverk. I tillegg finner vi indikasjoner på at dyp læring kan være gunstig i automatiseringen av segmenteringssteget i etableringen av 3D modeller.

Measures to reduce the impact of climate change are becoming more and more critical. By increasing the use of renewable energy, up to 90% of the CO2 emission reductions needed by 2050 can be achieved. The importance of 3D data is becoming increasingly more evident in this field, as modern cities require detailed models as a tool for in-depth planning to be both efficient and environmentally friendly.

In this thesis, we want to help contribute to make applications that use 3D data more accessible by exploring the applicability of one of today's biggest technology trends within automation, AI, on point cloud data. Specifically, we focus on the automation of the segmentation necessary for creation of 3D models of roof structures. We present a new dataset to be used for the task of 3D point cloud part segmentation of roof structures using deep learning. The goal is to propose a high-quality dataset based on real-life structures, yielding predictions of roof segmentations appropriate for applications in Norway.

The dataset is established from Light Detection and Ranging (LiDAR) data, collected across Trondheim municipality. Two versions of the dataset are proposed. The original dataset consists of 906 roofs present in the Trondheim area, and both datasets contain points manually annotated with one out of seven defined roof types, and further labelled into individual roof planes. Data augmentation methods is proposed and implemented to produce an alternative version of the dataset that is large enough for training purposes.

To evaluate the suitability of our dataset for the use in the training of a deep neural network, we adopt a recognized network for point cloud processing, PointNet++, and train it using the augmented dataset. The trained network is tested on a portion of the dataset, which results in a predicted plane segmentation of roof structures. The results indicate that our 3D dataset is suitable for training of a deep neural network. In addition, this indicates that deep learning proves to be promising in automation of the segmentation step in 3D modeling.