Apache Spark på OKD: Stordataanalyse for NTNU SOC ved bruk av en distribuert orkestreringsplattform
Description
Full text not available
Abstract
NTNU SOC ønsker en utredning for hvor godt en konteinerbasert versjon avstordataanalyseverktøyet Apache Spark, som kjører i konteinerorkestrerings-plattformen Openshift Kubernetes Distribution (OKD), kan bidra til avansertsikkerhetsanalyse hos NTNU. Rapporten tar for seg installasjon og konfigura-sjon av OKD og hvordan de ulike støttetjenestene OKD er avhengig av settesopp. Det forklares hvordan denne infrastrukturen kan benyttes for stordata-analyse og tar for seg batch prosessering av data fra Hadoop Distributed FileSystem. NTNU wants to conduct an evaluation if running containerized Apache Sparkinside the container orchestration platform Openshift Kubernetes Distribu-tion(OKD) can contribute to advanced security analysis at NTNU. The reportcovers the installation and configuration process of OKD and all of the requiredservices OKD is dependent on. Further an explanation of how this infrastruc-ture can be used for batch processing of data from Hadoop Distributed FileSystem used in big data analysis is presented.