Continuous lossless compression of streams of high-frequency multivariate financial market data

Abstract

Data blir produsert med stadig høyere frekvenser. Disse datamengdene fører i økende grad til at nåværende lagrings systemer blir utilstrekkelige. Det trengs derfor mer effektive metoder for å håndtere datastrømmer. Høyoppløselig sensordata muliggjør overvåking og analyse av komplekse systemer og prosesser. Mer effektive representasjoner av slike strømmer muliggjør lagring av datapunkter i minne, og åpner et hav av muligheter for sanntidssystemer.

Denne oppgaven ser på tapsfri komprimering av strømmer av høyfrekvente multivariate tidsserier, spesielt finansiell markedsdata. Markedsdata er unike i deres uforutsigbarhet. Tapsløs komprimering av slik data har interessante utfordringer.

Vi argumenterer for at komprimering av multivariate strømmer i hovedsak er det samme som å komprimere flere univariate strømmer med en delt tidsdimensjon. Ved å utnytte teknikker fra moderne komprimerings-metoder i dette domenet, utfører vi et studie om komprimering av strømmer av høyfrekvente multivariate data.

Ved bruk av teknikker som komparativ koding, kan vi komprimere multivariate datapunkter med høy tilfeldighet kontinuerlig og tapsløst, og dermed øke antallet nylige datapunkter som kan lagres i minne med en faktor på 4,4 i gjennomsnitt. Komprimeringshastigheter på én størrelsesorden høyere enn frekvensen til de mest aktivt handlede aktiva, og et-pass dekomprimering med blokker på mindre enn 550 kB, indikerer at slike teknikker kan være egnet for lagring av datapunkter i minne i dataintensive sanntidssystemer.

Data is being produced at increasingly high frequencies. These magnitudes often leave current storage systems inadequate, calling for more efficient methods for handling streams of data. High-resolution sensor data enables monitoring and analysis of complex systems and processes. More efficient representations of such streams enable in-memory storage of data samples, opening a field of possibilities for real-time systems.

This thesis takes a grasp at lossless compression of streams of high-frequency multivariate time series, financial market data in particular. Market data is unique in its unpredictability. Compressing such data while maintaining its information entirely yields exciting challenges.

We argue that the compression of multivariate streams is essentially the same as compressing multiple univariate streams with a shared time dimension. By leveraging techniques from state-of-the-art compression schemes in this domain, we perform a novel study of compression of streams of high-frequency multivariate data.

Using techniques such as comparative encoding, we can continuously compress multivariate samples of high randomness losslessly, increasing the number of recent samples storable in-memory by a factor of 4.4 on average. Compression speeds one order of magnitude higher than the frequency of the most actively traded assets, and one-pass decompression with blocks of less than 550 kB, indicates that such techniques may be suitable for in-memory storage in data-intense real-time systems.