A Deep Learning Based Approach for Detecting Change of Buildings from Aerial Images

Abstract

Fremveksten i bruken av dyplæringsmetoder for bygning- og endringsdeteksjon har økt jevnt de siste årene. Tilgjengeligheten og kvaliteten til høyoppløselige satellittbilder har tilrettelagt for en rekke muligheter innenfor praktiske bruksområder og forretningsproblemer. Deteksjon av endringer ved hjelp av satellittbilder med høy oppløsning har hatt en viktig rolle i å kartlegge endringer på jordas overflate. På grunn av økende interesse for bygning og endringsdeteksjon, har en rekke forskjellige tilnærminger på dette feltet blitt lett tilgjengelige. Denne oppgaven introduserer et nytt nevralt nettverk, U-PSP-Net, spesielt designet for bygningsdeteksjon. Nettverket brukes til å oppdage endringer av bygninger i Trondheim kommune. Oppgaven dekker også etableringen av et nytt bygningsdatasett som dekker 2,3 kvadratkilometer og 3784 bygninger.

U-PSP-Net er et konvolusjonalt nevralt nettverk laget ved å kombinere deler fra U-Net og PSPNet, to andre bildesegmenteringsnettverk. En ablasjonsstudie ble utført for å optimere nettverket, og å utnytte fordelene ved hvert nettverk samtidig som de minimerte deres svakheter. Det resulterende nettverket er fire lag dypt med en pyramidepoolingsmodul, bestående av de to minste kjernene, som forbinder koder- og dekoderstrukturene. Redusering av dybden gjør U-PSP-Net til et mer effektivt nettverk, som bruker bare halvparten så mange vekter sammenlignet med U-Net. Nettverket oppnådde nesten 98\% dekning og presisjon og en IoU på nesten 97\%.

Som en del av oppgaven, ble det gjennomført en eksperimentell studie i Trondheim. Målet var å bruke U-PSP-Net til å så nøyaktig som mulig kunne detektere bygninger fra flybilder. Nettverket ble brukt til å detektere bygninger fra to ulike datasett. Resultatene var svært nøyaktige, men med noen feilklassifiseringer på det ene datasettet. De klassifiserte bildene ble senere brukt til analyse av endring. Under analysen, oppstod det problemer forårsaket av forskjeller i datasettene på grunn av variasjon i bildeinnsamlingsfasen. For å konkludere, viste U-PSP-Net seg å være effektivt ved bygningsdeteksjon, men treningsdatasettet burde utvides og bildene bør eksponeres for mer behandling. Metoden for endringsdeteksjon har også vist seg å fungere, selv om det kreves sanne ortofoto for en automatisk deteksjon.

Den komplette kildekoden utviklet for denne oppgaven ligger på \underline{\href{https://github.com/martinwe001/Master_Thesis_CNN}{GitHub}}.

The rise of deep learning approaches for building and change detection have increased in the recent years. The accessibility and quality of high resolution satellite images have opened a wide variety of possibilities for practical applications and business problems. Temporal change detection using high resolution satellite images, have played an important role in mapping different changes on Earth's surface. Due to increasing interest in building and change detection, a range of different approaches in this field have become readily available. This thesis introduces a novel neural network, U-PSP-Net, specifically designed for building detection. The network is used to detect changes of buildings in Trondheim Municipality. The thesis also covers the creation of a novel building data set covering 2.3 square kilometers and 3784 buildings.

U-PSP-Net is a convolution neural network made by combining parts from U-Net and PSPNet, two other image segmentation networks. An ablation study was performed to optimize the network, exploiting the advantages of each network while also minimizing their weaknesses. The resulting network is four layers deep with a pyramid pooling module, consisting of the two smallest kernels, connecting the encoder and decoder structures. Reducing the depth makes U-PSP-Net a more efficient network, using only half as many weights as U-Net. The network achieved almost 98\% recall and precision and a IoU of almost 97 \%.

As part of the thesis, an experimental study in Trondheim was conducted. The goal was to use U-PSP-Net to, as accurately as possible, extract buildings from aerial images. The network was used to extract buildings from two data sets. Despite the high accuracy of the results, some misclassifications were made on the data sets. The classified images were later used for change detection analysis. The analysis encounters issues caused by differences in the data sets due to variation in the image collection phase. In conclusion, the U-PSP-Net proved to be efficient at building detection. However, the training data set could be expanded, and the images should be exposed to more augmentation. The change detection method was also proven to work, although, for automatic detection, true orthophotos are required.

The complete source code developed for this thesis can be found at \underline{\href{https://github.com/martinwe001/Master_Thesis_CNN}{this}} GitHub repository