A Deep Learning Based Approach for Detecting Change of Buildings from Aerial Images
Abstract
Fremveksten i bruken av dyplæringsmetoder for bygning- og endringsdeteksjon har økt jevnt desiste ̊arene. Tilgjengeligheten og kvaliteten til høyoppløselige satellittbilder har tilrettelagt for enrekke muligheter innenfor praktiske bruksomr ̊ader og forretningsproblemer. Deteksjon avendringer ved hjelp av satellittbilder med høy oppløsning har hatt en viktig rolle i ̊a kartleggeendringer p ̊a jordas overflate. P ̊a grunn av økende interesse for bygning og endringsdeteksjon, haren rekke forskjellige tilnærminger p ̊a dette feltet blitt lett tilgjengelige. Denne oppgavenintroduserer et nytt nevralt nettverk, U-PSP-Net, spesielt designet for bygningsdeteksjon.Nettverket brukes til ̊a oppdage endringer av bygninger i Trondheim kommune. Oppgaven dekkerogs ̊a etableringen av et nytt bygningsdatasett som dekker 2,3 kvadratkilometer og 3784 bygninger.U-PSP-Net er et konvolusjonalt nevralt nettverk laget ved ̊a kombinere deler fra U-Net ogPSPNet, to andre bildesegmenteringsnettverk. En ablasjonsstudie ble utført for ̊a optimerenettverket, og ̊a utnytte fordelene ved hvert nettverk samtidig som de minimerte deres svakheter.Det resulterende nettverket er fire lag dypt med en pyramidepoolingsmodul, best ̊aende av de tominste kjernene, som forbinder koder- og dekoderstrukturene. Redusering av dybden gjørU-PSP-Net til et mer effektivt nettverk, som bruker bare halvparten s ̊a mange vektersammenlignet med U-Net. Nettverket oppn ̊adde nesten 98% dekning og presisjon og en IoU p ̊anesten 97%.Som en del av oppgaven, ble det gjennomført en eksperimentell studie i Trondheim. M ̊alet var ̊abruke U-PSP-Net til ̊a s ̊a nøyaktig som mulig kunne detektere bygninger fra flybilder. Nettverketble brukt til ̊a detektere bygninger fra to ulike datasett. Resultatene var svært nøyaktige, menmed noen feilklassifiseringer p ̊a det ene datasettet. De klassifiserte bildene ble senere brukt tilanalyse av endring. Under analysen, oppstod det problemer for ̊arsaket av forskjeller i datasettenep ̊a grunn av variasjon i bildeinnsamlingsfasen. For ̊a konkludere, viste U-PSP-Net seg ̊a væreeffektivt ved bygningsdeteksjon, men treningsdatasettet burde utvides og bildene bør eksponeresfor mer behandling. Metoden for endringsdeteksjon har ogs ̊a vist seg ̊a fungere, selv om detkreves sanne ortofoto for en automatisk deteksjon.Den komplette kildekoden utviklet for denne oppgaven ligger p ̊a GitHub. The rise of deep learning approaches for building and change detection have increased in therecent years. The accessibility and quality of high resolution satellite images have opened a widevariety of possibilities for practical applications and business problems. Temporal changedetection using high resolution satellite images, have played an important role in mappingdifferent changes on Earth’s surface. Due to increasing interest in building and change detection,a range of different approaches in this field have become readily available. This thesis introducesa novel neural network, U-PSP-Net, specifically designed for building detection. The network isused to detect changes of buildings in Trondheim Municipality. The thesis also covers thecreation of a novel building data set covering 2.3 square kilometers and 3784 buildings.U-PSP-Net is a convolution neural network made by combining parts from U-Net and PSPNet,two other image segmentation networks. An ablation study was performed to optimize thenetwork, exploiting the advantages of each network while also minimizing their weaknesses. Theresulting network is four layers deep with a pyramid pooling module, consisting of the twosmallest kernels, connecting the encoder and decoder structures. Reducing the depth makesU-PSP-Net a more efficient network, using only half as many weights as U-Net. The networkachieved almost 98% recall and precision and a IoU of almost 97 %.As part of the thesis, an experimental study in Trondheim was conducted. The goal was to useU-PSP-Net to, as accurately as possible, extract buildings from aerial images. The network wasused to extract buildings from two data sets. Despite the high accuracy of the results, somemisclassifications were made on the data sets. The classified images were later used for changedetection analysis. The analysis encounters issues caused by differences in the data sets due tovariation in the image collection phase. In conclusion, the U-PSP-Net proved to be efficient atbuilding detection. However, the training data set could be expanded, and the images should beexposed to more augmentation. The change detection method was also proven to work, although,for automatic detection, true orthophotos are required.The complete source code developed for this thesis can be found at this GitHub repository