Enhance Preliminary Segmentations of Building Footprints Using Diffusion Models

Abstract

Sentral felles kartdatabase (SFKB) brukes til å automatisk oppdatere kartdata fra kommuner i en felles kartdatabase. Eiendomsregisteret (Matrikkelen) inneholder informasjon om eiendommer, bygninger og adresser, og er den viktigste databasen innenfor kommunal administrasjon. Vedlikehold og oppdatering av disse databasene krever omfattende manuelt arbeid, noe som gjør det til en ressurskrevende og ineffektiv oppgave.

For å forbedre denne prosessen anvender KartAI, et forskningsprosjekt som sikter på å heve kvaliteten på disse datakildene, Kunstig Intelligens (KI) for å automatisk detektere bygningers fotavtrykk fra flydata. Gjennom dette prosjektet bidrar KartAI til å øke effektiviteten i oppdateringen av disse bygningsomrissene. Deteksjon av bygninger fra flydata innebærer vanligvis tre hovedtrinn: initiell segmentering, omrissuttrekk og finjustering. Selv om flere segmenteringsmodeller har oppnådd imponerende resultater, gjenstår det store utfordringer med å detektere rette hjørner og kanter. Denne masteroppgaven fokuserer på å forbedre det andre steget i bygningdeteksjonsprosessen ved å anvende diffusjonsmodeller for å forbedre allerede segmenterte bygningsfotavtrykk. En eksperimentell Bygning Fotavtrykk Segmentering - Diffusjons Modell (BFS-DM) er presentert, som utnytter diffusjonsmodellenes arkitektur til å forbedre de forhåndssegmenterte bygningene. Den foreslåtte modellen oppnår en IoU-poengsum på 0.6646 på valideringsdatasettet, en forbedring fra 0.6399 som ble oppnådd med de tidligere segmenteringene. I tillegg gir oppgaven verdifulle innsikter i implementeringen av diffusjonsmodeller i bygningdeteksjonsprosessen.

The Norwegian Central Common Map Database (SFKB) is used to directly update map data from municipalities in a central database at the Norwegian Mapping Authority. The Norwegian Property Register (Cadastre) contains information about properties, buildings, and addresses, and is by far the most important dataset in municipal administration. Maintaining and updating these data sources requires substantial manual labor, making it a tedious and inefficient task.

To streamline these tasks, KartAI, a research project aimed at enhancing these datasets, utilizes Artificial Intelligence (AI) to automatically detect building footprints from remote sensing images, thereby improving the efficiency of updating building footprint data. The detection of building footprints with AI is typically divided into three main steps: initial segmentation, outline extraction, and refinement. While several segmentation models have shown impressive results, challenges remain in detecting straight corners and edges and in reducing irregular building shapes. This Master’s thesis aims to improve the second outline extraction step, by implementing diffusion models to enhance preliminary segmentations from the initial segmentation step. An experimental Building Footprint Segmentation - Diffusion Model (BFS-DM) is presented, leveraging the architecture of diffusion models with the preliminary segmentation as input. The model achieves an Intersection over Union (IoU) score of 0.6646 on the validation dataset, an improvement from 0.6399 on the preliminary segmentation used for training. Additionally, valuable insights are gained in incorporating diffusion models into the building detection pipeline.