E39 Fjordkryssing: Automatisering av data-pipeline for analyse av bølgedata

Abstract

Bakgrunnen for dette systemutviklingsprosjektet er Statens Vegvesens prosjekt "Ferjefri E39". I forbindelse med dette har Norconsult, på oppdrag fra Statens Vegvesen og i samarbeid med Fugro Oceanor, blitt leid inn til å gjennomføre analyser av bølge- og vinddata fra 8 målestasjoner langs Europavei 39. Formålet med datainnsamlingen og analysen er å danne et kunnskapsgrunnlag for bølge- og vindforholdene i fjordene langs kysten.

Målet med denne oppgaven stilt av Norconsult er å automatisere og effektivisere en manuell pipeline for nedlasting, prosessering, analyse og presentasjon av bølge- og vinddata. Dette innebærer å hente filer fra en filtjener hvor Fugro Oceanor laster opp data fra de forskjellige bølge- og vindmålingsstasjonene. Filene er lagret på formatet NetCDF, og må derfor konverteres. Etter konvertering skal dataene analyseres, og deretter presenteres på en meningsfull måte som gir innblikk i bølge- og vindforholdene i fjordene hvor målestasjonene er utplassert. I tillegg til dette var det et ønske om å se på muligheten for å bruke maskinlæring til å imputere manglende data.

Systemet som er utviklet er en web-applikasjon hvor ansatte hos Norconsult kan logge seg inn og enkelt generere en rapport. Web-applikasjonen er skrevet i C# og er bygget på ASP.NET Core 2.2. Systemets tjener, database og fillagring blir alle kjørt i skyløsninger hos Microsoft Azure. Web-applikasjonen har en system for mellomlagring av rådata og konverterte filer. Systemet holder også kontroll over ferdig genererte rapporter og tilhørende rådatafiler, og kan dermed varsle om en tidligere generert rapport er utdatert grunnet oppdatering i rådatafilene. Maskinlæringsteknikken kNN har blitt implementert for å imputere manglende måledata, og kan skrus av eller på om ønskelig.

Denne rapporten tar for seg arbeidet med utviklingen av systemet og prosessen rundt. Den gir innblikk i hvilke teknologier og prosesser som har blitt brukt, og begrunnelsen for valget av dem. Rapporten inneholder også vitenskapelige, ingeniørfaglige og administrative resultater for prosjektet, og diskusjon rundt disse.

The background for this project is Statens Vegvesens project “Ferjefri E39/Ferryless E39”. Norconsult has been hired, on comission of Statens Vegvesen and in cooperation with Fugro Oceanor, to conduct analyzes of wave and wind data from eight weather stations along E39. The purpose of collecting this data and the analysis, is to form a basis of knowledge about the wave and wind conditions in the fjords along the coast.

The objective of this assignment from Norconsult is to make a manual pipeline for downloading, processing and analysis of wave and wind data efficient and automatic. This means collecting files from a server where Fugro Oceanor uploads data from the weather buoys. The files are saved in NetCDF format and has to be converted. After convertion the data will be analyzed and presented in a meaningful way, giving insight into the wave and wind conditions in the fjords where the weather stations are deployed. It was also a desire to look at the potential for machine learning to impute missing data.

The system developed is a web application where employees of Norconsult easily can log on and generate a report. The web application is written in C# and is based om ASP.NET Core 2.2. The server, database and file storage of the system are all run in the cloud at Microsoft Azure. The web application has a system for caching raw data and converted files. It also keeps track of already generated reports and associated raw data files, and can therefore notify if an earlier report is outdated because of updated raw data files.

The machine learning technique kNN is used for imputing missing data and can be turned on or off as needed.

This report deals with the development of the system and the work and process around it. It gives insight into which technologies and processes are used, and the justification for the choices made. It also contains project results of scientific, engineering specific and administrative nature, and a discussion around these.