Vector Quantized Time Series Generation using Diffusion Models

Abstract

Tidsrekkegenerasjon (TSG) er en type generativ modellering som fokuserer på å lære fordelingen av tidsrekker. En ny tilnærming til TSG, kalt TimeVQVDM, er foreslått for å kombinere vektorkvantisering med diffusjonsmodeller. Modellen er motivert av nyere suksess innen bildegenerering, hvor man har sett forbedringsgevinster ved å bytte til diffusjonsmodeller. Den foreslåtte modellen bruker vektorkvantiserte variasjonsautokodere (VQ-VAEs) for å finne effektive latente representasjoner av tidsrekker, delt inn i lave og høye frekvenser. De latente fordelingene blir deretter modellert ved hjelp av diffusjonsmodeller. Generering fra TimeVQVDM utføres ved å generere de lave frekvensene først og deretter generere de høye frekvensene etterpå. Dette gjør at modellen kan fange opp den generelle strukturen til tidsrekker, samt fine detaljer. Den foreslåtte modellen er evaluert på UCR-tidsrekkearkivet ved å rapportere FID-, IS- og CAS-beregninger. For ubetinget generasjon oppnår TimeVQVDM resultateter som kan sammenlignes med toppmoderne alternativer, og viser at diffusjonsmodeller er i stand til å gi forbedringer for tidsrekkegenerasjon.

Time series generation (TSG) is a type of generative modelling focusing on learning the distribution of time series. A novel approach to TSG, called TimeVQVDM, is proposed by combining vector quantization with diffusion models. It is motivated by recent success in image generation, where improvement gains has been seen from switching to diffusion models. The proposed model uses vector quantized variational autoencoders (VQ-VAEs) for finding efficient latent representations of the time series, split into low and high frequencies. The latent distributions are then modelled using diffusion models. Sampling from TimeVQVDM is performed by sampling the low frequencies first and then sampling the high frequencies afterwards. This allows the model to capture the overall structure of time series, as well as fine details. The proposed model is evaluated on the UCR time series archive by reporting FID, IS and CAS metrics. For unconditional sampling, TimeVQVDM achieves scores comparable with state-of-the-art alternatives, showing that diffusion models are capable of improvement gains also for the task of generating time series.