Apache Spark på OKD: Stordataanalyse for NTNU SOC ved bruk av en distribuert orkestreringsplattform

Abstract

NTNU SOC ønsker en utredning for hvor godt en konteinerbasert versjon av stordataanalyseverktøyet Apache Spark, som kjører i konteinerorkestrerings- plattformen Openshift Kubernetes Distribution (OKD), kan bidra til avansert sikkerhetsanalyse hos NTNU. Rapporten tar for seg installasjon og konfigura- sjon av OKD og hvordan de ulike støttetjenestene OKD er avhengig av settes opp. Det forklares hvordan denne infrastrukturen kan benyttes for stordata- analyse og tar for seg batch prosessering av data fra Hadoop Distributed File System.

NTNU wants to conduct an evaluation if running containerized Apache Spark inside the container orchestration platform Openshift Kubernetes Distribu- tion(OKD) can contribute to advanced security analysis at NTNU. The report covers the installation and configuration process of OKD and all of the required services OKD is dependent on. Further an explanation of how this infrastruc- ture can be used for batch processing of data from Hadoop Distributed File System used in big data analysis is presented.