Service for Data Streaming

Abstract

I en verden hvor data blir stadig mer rikelig, er det nødvendig med nye løsninger for å behandle data så raskt som mulig. AutoStore AS har erkjent behovet for å behandle dataene fra deres automatiserte lagerinstallasjoner på en pålitelig og skalerbar måte. Dette behovet danner grunnlaget for prosjektet denne rapporten presenterer.

Ved å utvikle en løsning for strømming av data i sanntid, har prosjektet beskrevet i denne rapporten som mål å tilby et system for strømming av data. Ved å utføre forskning, testing og implementering ved hjelp av solide rammeverk og Scrum metodologi ble det laget et produkt som tilbyr pålitelig datastrømming.

Hovedproduktet produsert som et resultat av dette prosjektet gir mulighet for pålitelig og skalerbar datastrømming. Selv om det gjenstår noe arbeid før løsningen er klar til brukes i den virkelige verden for å transportere mulig sensitiv informasjon tilbyr løsningen en Java-basert implementasjon av et system som er fullt i stand til å overføre data mellom endepunkter.

I tillegg til produktet er det også skapt forskningsmessige resultater som kan være nyttig for andre utviklere som ønsker å lage tjenester for strømming av data. I tillegg til den primære implementeringen, har prototyper blitt produsert og gjort offentlig tilgjengelig som åpen kildekode-programvare. Dette bidrar til det globale åpen-kildekode utviklersamfunnet ved å tilby eksempler og løsninger for lignende prosjekter. Prosjektet legger et solid grunnlag for videre utvikling til en sikrere løsning som temmer overens med bedriftsstandarder.

In a world where data becomes increasingly plentiful, new solutions are needed to process data as quickly as possible. AutoStore AS has recognized the need to process the data from their automated warehouse installations in a reliable and scalable way. This need provides the basis for the project this paper presents.

By developing a solution for streaming data in real-time, the project described in this paper aims to offer a system for streaming data. By conducting research, testing, and implementation using solid frameworks and methodologies of Scrum, a product is was made that can provide reliable data streaming.

The main product produced as a result of this project provides streaming capabilities that offer reliability and scaling. Although some work remains before the solution is ready to be used in the real world to transport possibly sensitive information, the solution offers a Java-based implementation of a system fully capable of transferring data between endpoints.

In addition to the product, results in terms of research have also been created, which can be helpful to other developers looking to create services for streaming data. In addition to the primary implementation, prototypes have been produced and made publicly available as open-source software, contributing to the global open source community. The project lays a solid foundation for further development into a more secure solution fit for enterprise standards.