A Synthetic Data-driven Solution for Urban Drinking Water Source Management

Abstract

Vannkvalitetsovervåking spiller en avgjørende rolle i urbane vannforsyningssystemer for produksjon av trygt drikkevann. Imidlertid er den tradisjonelle tilnærmingen til vannovervåking i Norge basert på periodisk (ukentlig/annenhver uke/månedlig) prøvetaking av biologiske indikatorer, noe som ikke gir en rask respons på endringer i vannkvaliteten. Denne avhandlingen tar opp dette problemet ved å foreslå en datadrevet løsning som forbedrer tidsriktigheten i vannkvalitetsovervåkingen.

Vårt forskningsteam gjennomførte en case-studie i Ålesund kommune. Et sensorplattform ble implementert ved Brusdalsvatnet, vannreservoaret i Ålesund. Denne sensormodulen er i stand til å samle data om 10 ulike fysisk-kjemiske indikatorer. Ved å utnytte denne sensorplattformen utviklet vi en CNN-AutoEncoder-SOM-løsning for å automatisk overvåke, behandle og evaluere utviklingen av vannkvaliteten.

Denne løsningen består av tre komponenter. Den første fokuserer på anomalideteksjon. Vi brukte et tilbakevendende kart for å kodesette de temporale dynamikkene og sensorkorrelasjonene, som deretter ble matet inn i et CNN-nettverk for klassifisering. Det bemerkes at dette nettverket oppnådde en imponerende nøyaktighet på opptil 99,6%. Når en anomalitet oppdages, blir dataene kalibrert i den andre komponenten ved hjelp av ulike modeller, inkludert transformer, multiple layer perceptron, beslutningstre og AutoEncoder. Siden sanne kalibreringsverdier ikke er tilgjengelige, blir resultatene evaluert gjennom dataanalyse. Spesielt gir AutoEncoder, som bruker et grafisk støyfjerningsprinsipp, en kalibreringsløsning som tilsvarer de opprinnelige rene dataene innenfor tidsperioder der vannkvaliteten forblir relativt stabil. Med høykvalitets kalibrerte data tilgjengelig, gikk vi videre til å gruppere dataene i ulike kategorier for å etablere vannkvalitetsstandarder i den tredje komponenten. K-means fungerte som baselinje klyngealgoritme, samtidig som vi også utviklet spektral klynging og SOM.

Resultatene viste at SOM, ved bruk av AutoEncoder-kalibrerte data, viste den høyeste ytelsen med en silhuettverdi på 0,73, som illustrerer en liten avstand innenfor klyngene og stor avstand mellom klyngene når vannet ble klynget i tre nivåer. Dette systemet oppnådde ikke bare målet om å utvikle en omfattende løsning for kontinuerlig overvåking av vannkvalitet, belyser også potensialet for integrering av andre CPS i urbane urban infrastruktur.

Dette arbeidet er sendt inn til det fagfellevurderte tidsskriftet Water Pollution.

Water quality monitoring plays a crucial role in urban water supply systems for the production of safe drinking water. However, the traditional approach to water monitoring in Norway relies on a periodic (weekly/biweekly/monthly) sampling of biological indicators, which fails to provide a timely response to changes in water quality. This thesis addresses this issue by proposing a data-driven solution that enhances the timeliness of water quality monitoring.

Our research team applied a case study in Ålesund Kommune. A sensor platform has been deployed at Lake Brusdalsvatnet, the water reservoir in Ålesund. This sensor module is capable of collecting data of 10 different physicochemical indicators. Leveraging this sensor platform, we developed a CNN-AutoEncoder-SOM solution to automatically monitor, process and evaluate water quality evolution.

There are three components in this solution. The first one focuses on anomaly detection. We employed a recurrence map to encode the temporal dynamics and sensor correlations, which were then fed into a CNN network for classification. It is noted that this network achieved an impressive accuracy of up to 99.6%. Once an anomaly is detected, the data is calibrated in the second component using various models including transformer, multiple layer perceptron, decision tree, and AutoEncoder. Since true values for calibration are unavailable, the results are evaluated through data analysis. Notably, the AutoEncoder, which applies a graph denoising principle, provides a calibration solution that closely matches the original clean data within time periods where water quality remains relatively stable. With high-quality calibrated data in hand, we proceeded to cluster the data into different categories to establish water quality standards in the third component. K-means served as the baseline clustering algorithm, while we also developed spectral clustering and SOM.

The results revealed that SOM, utilizing AutoEncoder calibrated data, demonstrated the highest performance with a silhouette score of 0.73 which illustrates a small in-cluster distance and large intra-cluster distance when the water was clustered into three levels. This system not only achieved the objective of developing a comprehensive solution for continuous water quality monitoring but also offers the potential for integration with other CPS in urban management.

Additionally, this work is submitted to the Journal of Water Research.