Time-Series Cache

Abstract

I den moderne teknologiens verden er der en økning av enheter som er tilkoblet tingenes internett. Denne koblingen mot internettet har åpnet for sentralisering av tids-serie data som gjør at denne dataen, som typisk har vert lokalisert på enhetene selv, kan bli lagret i skyen for enkel tilgang når som helst, hvor som helst. Denne dataen, typisk tids-serie data, er en samling datapunkter lest av enheter og danner en serie over tid Prosjektet er basert på en oppgave gitt av Seaonics. Formålet med Time-Series Cache oppgaven er å utvikle ett sett tjenester som kan bli brukt til feilsøking og overvåkning av utstyr, som for eksempel sensorer som lager tids-serie data. Gruppen har også fokusert på å forbedre tilgangen og lagringen av dataen effektiv med hensyn på tiden det tar å hente ut data, samt å minimere mengden av overført data. I tillegg til cache tjenesten inkluderer oppgaven også utviklingen av tjenester for å tilgjengeliggjøre ett web-grensesnitt hvor brukere kan hente ut og visualisere data gjennom cachen Det resulterende systemet består av tre tjenester: • Cache tjenesten selv, som bruker pub/sub grensesnitt mellom lokasjoner, eller fartøy, eller andre ting som holder på tids-serie data. Denne tjenesten er kjernen av systemet og kan bli brukt selvstendig som en minimert pakke. All funksjonalitet som ikke er direkte knytt til caching har blitt ekskludert for denne grunn. • En REST tjeneste som utvider cache tjenestens funksjonalitet til å inkludere ett web grensesnitt for web-baserte klienter. • Ett web grensesnitt hvor signal kan utforskes og overvåkes i fortid, samt i sanntid. Dette resulterer i et system som krever minimalt med konfigurering og øker tilgjengeligheten for data i henhold til Seaonics behov. Systemet er også bygget for at andre enn Seaonics kan ta det i bruk i de fleste typiske scenario hvor tids-serie data blir dannet. Løsningens web-grensesnitt blir plugget inn i kjernesystemet og visualiserer dataen ved bruk av komprimering. Grensesnittet har forskjellige kontroller for å manipulere signal-dataen og forbedrer brukervennligheten stort sammenlignet med å se over rå-dataen

In the modern age of technology, an increasing number of devices get connected to the so-called Internet of Things. This makes it possible for data typically kept in a device to be transmitted to centralized servers for quick access anywhere. Typically, this data is time-series data, which is a collection, or stream, of datapoints of variables across time. The project is based on a task given by Seaonics. The goal of the Time-Series Cache project is to fit Seaonics’ needs for troubleshooting and monitoring of equipment which logs time-series data. In this project the group also focuses on making access and storage of the data more efficient in terms of time to retrieve, and the amount of data transmitted across low bandwidth internet connections. In addition to the service itself, the project also includes the development of a web-based interface for visualization of the captured time-series data. The purpose of this tool is to aid in troubleshooting with features such as side-by side comparisons and manipulation. The resulting system consists of three separate parts: • A caching service which stores data either locally or in a cloud increasing the data's availability by storing it on more powerful hardware and higher bandwidth networks. The caching service uses a pub/sub interface between locations, or vessels, and other services which need the locations information. This service is the core of the system and can be used on its own as a minimized package since all non-cache functionality has been purposefully implemented elsewhere. • A REST service to extend the caches’ functionality to provide an HTTP interface for web-based clients • A web interface where signals can be discovered and monitored both in the past and in the present. The result of this is a complete system with minimal need for configuration and that improves the availability of data for Seaonics needs. It is also not exclusive to Seaonics and can provide functionality for most typical scenarios where time series data is collected. Within this solution there is also the visualization component, which simply plugs into the main caching system and provides a web-interface for visualisation of the collected data with downsampling. This web-interface introduces some control to make comparing signals easier and massively improves the experience compared to looking over the raw data.