Generative Adversarial Networks for Unsupervised Anomaly Detection in Multivariate Time-Series Telecommunications Data

Abstract

Etter hvert som nettverksinfrastrukturen i telekommunikasjonsdomenet blir mer kompleks, blir det stadig viktigere å utvikle systemer som er i stand til ̊a automa-tisere effektiv og nøyaktig deteksjon av avvik. Slike systemer analyserer Key Per-formance Indicators (KPIs) samlet fra nettverksbasestasjoner, og er avgjørendefor ̊a varsle om mulige kritiske driftshendelser i tide. Disse KPI-ene er oftest i formav tidsserier med flere variabler, som er utfordrende ̊a utføre avviksdeteksjon p ̊a,ettersom uregelmessige mønstre oppst ̊ar b ̊ade som korrelasjoner mellom forskjel-lige variabler, samt tidsvinduer. Tradisjonelle terskelbaserte metoder klarer ikke ̊a utføre denne oppgaven optimalt, da de dynamiske kompleksitetene i disse sys-temene er for avansert, mens supervised learning-metoder ikke evner ̊a dra nytteav den store mengden eksisterende data, ettersom de ikke er annotert.Nylig har en klasse med unsupervised generative learning-metoder kalt Gener-ative Adversarial Networks (GANs) vist seg ̊a lykkes med ̊a modellere statistiskedistribusjoner p ̊a en m ̊ate som f ̊ar dem til ̊a utføre avviksdeteksjon godt p ̊a bilderog video. Denne studien prøver ̊a bruke disse teknikkene p ̊a det flerdimensjonaletidsseriedomenet. Spesifikt, kartlegges State of the Art i GAN-baserte tidsserie-anomalideteksjoner, før et utvalg av disse metodene blir implementert og evaluertsom en del av en foresl ̊att 3-delig anomalideteksjons-pipeline. I tillegg foresl ̊as ogevalueres en ny GAN-basert anomali-deteksjonsmetode, kalt RegGAN, sammenmed State of the Art-metodene.Resultatene av eksperimentene viser at selv om de GAN-baserte metodenefungerer bra p ̊a referansedatasett, har de ganske alvorlige begrensninger som bliravdekket n ̊ar de brukes p ̊a de virkelige telekommunikasjonsdataene. Hovedsakeligat de er svært følsomme for forurensede treningsdata, noe som forringer ytelsenbetydelig. De klarer heller ikke ̊a innlemme tidsbaserte mønstre utover ganske ko-rte tidshorisonter. Eksperimentene antyder at tilsetning av en ekstra Encoder tilGAN-arkitekturen bidrar til ̊a redusere effekten av forurensning p ̊a modellytelsen.Videre foresl ̊as det at bruken av oppmerksomhetsmekanismer og flerdimensjonalekorrelasjonsmatriser (MCM) kan øke GANs evne til ̊a bruke tidsbaserte mønstre.

In the telecommunications domain, as network infrastructure grows more com-plex, it is becoming increasingly important to develop systems that are able toautomate efficient and accurate anomaly detection. Such systems operate on KeyPerformance Indicators (KPIs) collected from network base stations, and are vitalto alert for possible critical operational incidents in a timely manner. These KPIsare most commonly in the form of multivariate time-series, which are challengingto perform anomaly detection on, as anomalous patterns occurs both as correla-tions between features, as well as temporal windows. Traditional threshold-basedmethods are unable to perform well at this task due to the dynamic complexitiesof these systems, whilst supervised learning methods are unable to take advantageof the large amount of existing data, as it remains unlabeled.Recently, a class of unsupervised generative learning models called GenerativeAdversarial Networks (GANs) have been shown to successfully model statisticaldistributions in a way that makes them perform anomaly detection well on imagesand video. This study attempts to apply these techniques to the multivariatetime-series domain. Specifically, the State of the Art in GAN-based time-seriesanomaly detection is surveyed, before a selection of them are implemented andevaluated as a part of a proposed 3 part anomaly detection pipeline. Additionally,a novel GAN-based anomaly detection method, called RegGAN, is proposed andevaluated together with the State of the Art methods.The results of the experiments show that even though the GAN-based meth-ods perform well on benchmark datasets, they have rather severe limitations thatare uncovered when applied to the real world telecommunications data. Mainly,that they are highly sensitive to contaminated training data, which degrades per-formance significantly. They also fail to incorporate temporal patterns beyondquite short time-horizons. The experiments suggests that adding a auxiliaryencoder to the GAN architecture helps mitigate the effect of contamination onmodel performance. Furthermore, it is proposed that the use of attention mech-anisms and multivariate correlation matrices (MCMs) could increase the GANsability to utilise temporal patterns.