Automated Mapping and Change Detection of Rivers and Inland Water Bodies by Semantic Segmentation of SAR Imagery using Deep Learning

Abstract

Målet med denne oppgaven er å detektere utstrekninger av vannforekomster og elver i Norge ved semantisk segmentering av Syntetisk Apertur-Radar (SAR) satellittbilder. To dype nevrale nettverksarkitekturer er implementert og trent til å utføre segmenteringsoppgaven. Fokuset er å undersøke nøyaktigheten og nytteverdien til automatisk vannkartlegging for endringsdeteksjon i elver og vannforekomster.

Prosjektet er knyttet til FNs femtende bærekraftsmål: Livet på Land, som har som mål å forhindre at konsekvenser av klimaendringer forårsaker landforringelse og tap av biologisk mangfold. Automatisk vannkartlegging er et viktig verktøy for å begrense mulige konsekvenser knyttet til klimadrevne flomhendelser, samt hjelpe til med katastrofehåndtering og beredskapsarbeid.

Eksisterende maskinlæringsmodeller oppnår høy nøyaktighet hvis de trenes på svært nøyaktige data, men å skaffe og forberede slike data krever mye tid og manuelt arbeid. For å ta fatt på denne utfordringen er datasettet laget for dette prosjektet en samling Sentinel-1 SAR-bilder av ulike regioner i Norge, med etiketter fra Statens kartverk. Bilder og etiketter blir behandlet og delt i fliser, deretter delt inn i trenings- og valideringsdata med en fordeling på 85% til 15%. De to valgte dype segmenteringsarkitekturene er U-Net med en ResNet50-ryggrad forhåndsopplært på ImageNet-datasettet, og DeepLabV3+ med en Xception-ryggrad forhåndstrent på Cityscapes-datasettet.

U-Net oppnår en samlet klassevektet Jaccard-indeks på 0,974, med en Jaccard-indeks på 0,846 og nøyaktighet på 0,886 spesifikt for vannklassen. DeepLabV3+ gir en vektet Jaccard- indeks på 0,976, og oppdager vann med en klassespesifikk Jaccard-indeks på 0,856 og en nøyaktighet på 0,892.

Etiketter fra Statens kartverk er detaljerte, og inkluderer smale bekker og elver som ikke er mulig å detektere i SAR-bilder med oppløsning 20x22m. Derfor er ytelsesberegninger begrenset av forskjeller mellom de originale etikettene og bildene, og kan forbedres ved å bruke etiketter med tilsvarende nøyaktighet ved testing. Innhenting av SAR-bilder med høyere oppløsning kan øke modellens ytelse når det gjelder å oppdage svært små endringer i vannmengdene. De nåværende versjonene av modellene er sannsynligvis nøyaktige nok til å brukes som en del av et halvautomatisk varslingssystem for flomovervåking. Likevel er det nødvendig med mer nøyaktige data og testing for å fullt ut realisere potensialet til et pålitelig, helautomatisert system.

The aim of this thesis is to detect extents of water bodies and rivers in Norway by semantic segmentation of Synthetic Aperture Radar (SAR) satellite images. Two deep neural network architectures are implemented and trained to perform the segmentation task. The focus is to examine the accuracy and usability of automatic water mapping for change detection in rivers and water bodies.

The project is connected to the UN’s fifteenth sustainable development goal: Life on Land, which aims to prevent consequences of climate change from causing land degradation and biodiversity loss. Automatic water mapping is an important tool in limiting potential consequences related to climate driven flood events, aiding disaster management and emergency response efforts.

Existing machine learning models obtain high accuracy if trained on highly accurate data, however, creation of such data is labor intensive, time consuming and requires manual work. To assess this challenge, the dataset created for this project is a collection of Sentinel-1 SAR images of different regions in Norway, with labels from the Norwegian Mapping Authorities. Images and labels are processed and tiled, then divided into training and validation data with an 85% to 15% split. The two chosen deep segmentation architectures are U-Net with a ResNet50 backbone, pre-trained on the ImageNet dataset, and DeepLabV3+ with an Xception backbone, pre-trained on the Cityscapes dataset.

U-Net achieves an overall class-weighted Jaccard index of 0.974, with a Jaccard index of 0.846 and accuracy of 0.886 specific to the water class. DeepLabV3+ yields a weighted Jaccard index of 0.976, detecting water with a class specific Jaccard index of 0.856 and an accuracy of 0.892.

Labels from the Norwegian Mapping Authorities are detailed, and includes narrow streams and rivers that are not detectable in SAR images with resolution 20x22m. As such, performance metrics are limited by differences between the original labels and images, and may be improved by providing labels with corresponding accuracy when testing. Obtaining SAR images with higher resolutions may increase model performance in terms of detecting very small changes in water extents. The current versions of the models are likely accurate enough to be used as part of a semi-automatic flood monitoring notification system. Yet, more accurate data and testing is needed to fully realize the potential of a reliable, fully automated system.