Machine Learning for Multi-Source Analysis

Abstract

Internett fortsetter å utvide seg, og brukere forventer stadig bedre ytelse ettersom nye og bedre digitale tjenester blir tilgjengelig. Internettleverandører overvåker nettverksinfrastrukturen sin nøye for å opprettholde stabile og pålitelige nettverk. I et forsøk på å forbedre påliteligheten ytterligere, har et samarbeidsprosjekt kalt ”Dragonlab”, der Uninett er en bidragsyter, blitt initiert for å måle ende-til-ende kvaliteten på nettverkstrafikk. Målenodene i nettverket genererer enorme mengder overvåkingslogger. Ved å analysere disse dataene med tradisjonelle metoder, har Uninett avdekket en opphopning av mikrobrudd som kan indikere nettverksproblemer. Denne oppgaven undersøker i hvilken grad maskinlæring (ML) kan resultere i verdifull informasjon for å bidra i Uninetts overvåkingssystem. Oppgaven følger en designvitenskapelig forskningsmetodikk, der vi har delt iterasjonssyklusene inn i flere tilnærminger med ulike metoder og implementasjoner.

Tilnærmingene til oppgaven består av å undersøke Uninetts innsamlede og analyserte data for å få innsyn i de nåværende løsningene i systemet. Vi bruker Kibanas ML-baserte anomaliedeteksjon for å finne uregelmessigheter i den målte nettverksforsinkelsen, og årsaksanalyserer disse funnene. De andre tilnærmingene inspiserer flere ressurser manuelt mens muligheten for ML blir evaluert. Resultatene viser lite informasjon av interesse i datasettene og lavt potensial for ML. De fleste beregningene i datasettene stammer fra én enkel måling, pakkeforsinkelse, og bidrar ikke med noe kontekst til observerte avvik. Uninetts overvåkingssystem, per i dag, er primært passende for statistisk analyse og terskelmetoder for å oppdage problemer. Vi fortsetter derfor med en statistisk analysetilnærming og oppdager korrelasjon mellom strømmer av pakker på forskjellige ruter. Disse resultatene indikerer at uønskede hendelser gjenspeiles på flere deler av infrastrukturen. Oppdagelsen kan brukes i kombinasjon med andre kilder for å fastslå årsakene i fremtiden.

Konklusjonen anser ML som ikke lønnsomt for Uninett på et nåværende tidspunkt. ML vil innføre unødvendig kompleksitet og vil kreve ekspertise for å utvikle og vedlikeholde. Vi foreslår å utvide deres eksisterende analyse ved å kombinere flere ulike datasett. I tillegg kan de ta markere seg enkelte tilfeller med kjente årsaker. Det anbefales sterkt å forbedre loggformateringen de bruker i dag, samt bryte ned loggene i mindre enkeltstående komponenter. De vil da ha lett tilgjengelige og dynamiske ressurser klare for ulike analysemetoder i fremtiden. Hvis de klarer å kombinere flere ulike informasjonskilder, kan ML revurderes.

The Internet keeps expanding and creates a higher performance demand due to progressively emerging digital services. The Internet Service Providers (ISPs) closely monitor their network infrastructure to provide stable and reliable networks. In an attempt to further improve the dependability, a collaboration project dubbed ”Dragonlab”, where Uninett is a contributor, has been initiated to measure the end-to-end quality of network traffic. The probes in the network generate a vast amount of monitoring logs. By analysing this data using traditional methods, Uninett has uncovered an accumulation of micro outages that could indicate network issues. This thesis investigates to what extent ML can produce valuable output to contribute in Uninett’s monitoring system. The thesis follows a design science research methodology, where we divide the iterating cycles into several implementation approaches.

These approaches consists of investigating Uninett’s collected and analysed data to gain knowledge of the current solution in production. We apply Kibana’s ML-based anomaly detection to find anomalies in the measured network delay, and conduct root cause analysis on these findings. The other approaches manually inspect multiple resources whilst evaluating possible ML solutions. The results show little information of interest in the datasets and low potential for ML. Most features in the datasets are derived from a single metric, nodal delay, and contribute no context to observed deviations. Uninett’s monitoring system, as of today, is primarily applicable in statistical analysis and threshold methods for problem discovery. Proceeding with a statistical analysis approach, we discover correlations between streams of packets on different paths. These results indicate that unwanted events affect multiple parts of the infrastructure. This discovery can be used in combination with other sources to determine root causes in the future.

The conclusion deems ML not profitable for Uninett at the time being. ML would introduce unnecessary complexity and would require expertise to develop and maintain. We suggest expanding on their existing data analysis by combining multiple sources of information and label known root causes. Improving their log-formatting and developing an atomic methodology while doing so is highly recommended. They will then have easily accessible and dynamic resources ready for numerous analysis methods in the future. If able to reliably combine multiple sources of information to labelled events, a reevaluation of ML can be conducted.