Deep learning-based building detection from oblique aerial images

Abstract

I de senere årene har fremskritt innen dyp læring og tilgjengeligheten og kvaliteten på høyoppløselige flyfoto presset grensene for hva som er mulig når det gjelder nøyaktighet og pålitelighet i automatisk bygningsdeteksjon. Denne avhandlingen foreslår en ny tilnærming for å detektere bygninger ved hjelp av skrå luftbilder, som gir en mer omfattende framstilling av omgivelsene sammenlignet med nadir (vertikale) bilder.

Den foreslåtte metoden innebærer automatisk generering av et treningsdatasett og trening av en dyp læringsmodell. Denne modellen brukes deretter til å oppdage bygninger på bilder fra flere perspektiver før prediksjonene kombineres for å oppnå mer nøyaktige og pålitelige bygningsomriss.

En eksperimentell studie evaluerer modellens evne til å oppdage bygninger og vurderer hvordan den presterer på skrå flyfoto sammenlignet med vertikale bilder. Videre utføres en områdeanalyse for å vurderehvor nøyaktig den foreslåtte metoden klarer å kombinere prediksjoner fra flere bilder.

Resultatene viser at skrå flyfoto inneholder flere kjennetegn og trekk som gjør det lettere å gjenkjenne bygningsstrukturer og forbedre deteksjonen av bygninger. Prosessen med å kombinere segmenteringsresultatene fra flere bilder viste seg også å være nøyaktig. Imidlertid er okklusjon en betydelig utfordring på skrå flyfoto, og det er behov for forbedringer for å bedre håndtere tilfeller der bygningsstrukturene ikke er synlige i enkelte bilder. Det legges også vekt på betydningen av høykvalitets treningsdata og behovet for mer varierte datasett for å styrke modellens robusthet og generaliserbarhet.

In recent years the advancements in deep learning and the availability and quality of high-resolution aerial images have pushed the limits of what is possible when it comes to the accuracy and reliability of automatic building detection. This thesis proposes a novel approach to building detection using oblique aerial images, which offer a more comprehensive view of the environments compared to nadir (top-down) images.

The proposed method involves the automatic generation of a training dataset and the training of a deep learning model. This model is then used to detect buildings on images from multiple perspectives before the predictions are combined to offer more accurate and reliable building footprints.

An experimental study evaluates the model's ability to detect buildings and examines its performance on oblique aerial images compared to nadir aerial images. Moreover, an area analysis is conducted to assess the accuracy of the proposed method to combine the predictions from multiple images.

The results demonstrate that oblique aerial images provide more features, enabling better recognition of building structures and improving building detection. The process of combining the segmentation results from several images also proved to be accurate. However, occlusion remains a significant challenge in oblique aerial imagery and improvements are needed to better deal with scenarios where the building structures are not visible in some of the images. Furthermore, it emphasizes the importance of high-quality training data and the need for more diverse datasets to enhance the model's robustness and generalizability.