Scaling a Functional Measurement-Stream Transformation System using Pub/Sub Services

Abstract

Nå som flere og flere industrielle sensorer kobles til Internet, stilles det høye krav til systemene som håndterer disse dataene. Klientene ønsker å overvåke og analysere måledataene sine, både i sanntid og som historiske tidsseriedata. Kongsberg Digital har utviklet et system for dette formålet. Dette systemet gjør det også mulig for klientene å sende spørringer som sømløst går i fra å levere historiske data til å levere sanntidsdata. En av utfordringene med dette systemet er at det ikke skalerer med antall klienter som bruker det.

I denne oppgaven er det designet en system arkitektur som forbedrer skalerbarheten til et slikt system. Dette oppnås ved å bruke et «publish-subscribe-system» til å spre ut samme resultat til alle klientene som har spørringer som resulterer i samme samtids-resultat. Samtidig beholdes den sømløse overgangen fra historiske data til sanntidsdata. Akritekturen er deretter implementert og testet i et test-system for å verifisere at det fungerer.

As more and more industrial sensors get connected to the Internet, high demands are put on the systems handling these data. Clients want to monitor and analyze the data from their sensors, both as real-time measurement streams and as historical time series. Kongsberg Digital has developed one such system which also allows the clients’ queries to seamlessly transition from historical to real-time data. One of the challenges with this system, however, is that the current solution doesn’t scale with the number of clients.

In this thesis, an architecture that increases the scalability of such a system is designed by using publish-subscribe systems to fan-out results that are shared among multiple clients while still allowing for a seamless transition from historical to real-time data. The architecture is then implemented and tested in a proof-of-concept system to verify the result.