You're your own best teacher: A Self-Supervised Learning Approach To Expressive Representations For Time Series Generation

Abstract

Tidsrekkegenerering (TSG) fokuserer på å lære fordelingen til tidsrekker ved generativ modellering. De beste metodene i TSG, som TimeVQVAE, utnytter vektorkvantisering for å effektivt modellere komplekse fordelinger. Disse modellene lærer diskrete latente representasjoner av tidsrekker, og vår forskning forsøker å gjøre disse mer uttrykksfulle. Vi introduserer et nytt rammeverk for integrering av ikke-kontrastiv selvstyrt læring i VQVAE. Vår modell, NC-VQVAE, evalueres på en undermengde av UCR-arkivet. Vi bruker SVM- og KNN-nøyaktighet til å bedømme uttrykksfullheten til de latente representasjonene, samt IS-, FID- og CAS-beregninger til å bedømme kvaliteten til de genererte tidsrekkene. Resultatene fører oss til konklusjonen at NC-VQVAE lærer representasjoner som forbedrer klassifisering og klynging av tidsrekker, samtidig som genereringskvaliteten øker.

Time series generation (TSG) focuses on learning the distribution of time series data through generative modeling. State-of-the-art approaches in TSG, such as TimeVQVAE, utilize vector quantization-based tokenization to effectively model complex distributions. These models learn discrete latent representations of time series, and our research aims to enhance the expressiveness of these representations. We introduce a novel framework for integrating non-contrastive self-supervised learning into the tokenization model, termed NC-VQVAE. Our model is evaluated on a subset of the UCR archive, using SVM and KNN accuracies to assess the expressiveness of the latent representations, and IS, FID, and CAS metrics to evaluate the quality of the generated samples. Our results demonstrate that NC-VQVAE learns representations that improve classification and clustering of time series, while also enhancing the quality of synthetic samples.