Representation Learning for Semi-Supervised Time Series Classification

Abstract

Tidsrekke-klassifisering har med tiden blitt et tema av stor interesse og brukes ofte i viktige applikasjons-domener som for eksempel medisin og finans. Klassifisering av tidsrekker krever ofte en stor mengde med data som er klassifisert på forhånd, såkalt “labeled” data. Forhånds-klassifisering av store mengder data kan være en tidskrevende og kostbar prosess. Det er derfor en økende interesse for semi-overvåket læring for klassifisering av tidsrekker, der både “labeled” og “unlabeled” data blir utnyttet til klassifiserings-oppgaven. En måte å utnytte store mengder “unlabeled” data på er å benytte selv-overvåket representasjons-læring. Modellen trener da på alt av data for å lære seg generelle representasjoner som videre kan utnyttes for å klassifisere dataen.

Denne oppgaven utforsker en modell som bruker selv-overvåket representasjons-lærings til semi-overvåket tidsrekke-klassifisering. Modellen som utforskes er en enkel siamesisk modell, kalt SimSiam-modellen. Modellen er inspirert av kontrastiv læring og maksimerer likheten mellom to versjoner av samme input. Slike rammeverk har vist stor suksess innen bilde-klassifisering, men har enda ikke blitt introdusert for tidsrekke-klassifisering. I denne oppgaven lages de to versjonene av input-tidsrekkene på en veldig enkel måte, ved å segmentere ut to forskjellige deler av samme tidsrekke.

Flere eksperimenter med ulike tidsrekke-datasett blir utført for å undersøke SimSiam-modellen i en semi-overvåket setting, der tilgangen på “labeled” data er begrenset og variert. Modellen sammenlignes også med en “state-of-the-art” modell som bruker multi-task læring (MTL) ved prediksjon som en selv-overvåket oppgave.

Resultatene viser at den enkle siamesiske modellen er i stand til å lære meningsfulle og robuste representasjoner. Modellen presterer spesielt bra for to av datasettene, likevel er det noen av datasettene modellen ikke fungerer optimalt for. Dette er mest sansynlig forårsaket av den veldig simple metoden som er brukt for å lage de to versjonene av tidsrekkene som modellen trener på. state-of-the-art MTL-modellen presterer i de fleste tilfeller bedre enn SimSiam modellen. Men, for tre av datasettene er SimSiam-modellen i stand til å overgå MTL-modellen når tilgangen på “labeled” data reduseres. Selv om resultatene er varierte for de forskjellige datasettene, viser denne oppgaven at slike selv-overvåkede representasjons-lærings rammeverk kan være effektive for tidsrekke-klassifisering, slik som de er for bilde-klassifisering.

Time series classification has become a topic of great interest and is commonly used in important applications areas like medicine and finance. However, it often requires a large amount of labeled training data, and labeling large amounts of data is a time consuming and costly process in real-world applications. There has therefore been an increasing interest in semi-supervised learning, where both labeled and unlabeled data is utilized for time series classification. One way to leverage large amounts of unlabeled data is to use self-supervised representation learning. The model then trains on all the data to learn general representations that can further be used for the classification task.

This thesis explores a self-supervised representation learning model for semi-supervised time series classification. The model explored is a simple siamese model, called the SimSiam model. The model is inspired by contrastive learning and maximizes the similarity between two augmentations of the same input. Such frameworks have shown great success in image classification, but have not previously been introduced for time series classification. In this thesis, the augmentations that are fed to the model are very simply made by extracting two different segments of the same time series.

Several experiments on different time series datasets are set up to investigate the SimSiam model in a semi-supervised setting, where the access to labeled data is limited and varied. The model is also compared to a state-of-the-art multi-task learning (MTL) model \cite{MTL}, using forecasting as a self-supervised task.

The results show that the simple siamese model is able to learn meaningful and robust representations. The model performs particularly well for two of the datasets. However, for some of the datasets the model does not perform well and this is most likely caused by the very simple form of augmentations chosen. The state-of-the-art MTL model performs better than the SimSiam model in most cases. Nevertheless, for three of the datasets, the SimSiam model is able to outperform the MTL model when the access to labeled data is decreased. Although the results are varied for the different datasets, this thesis shows that such self-supervised representation learning frameworks can be effective for time series classification, such as they are for image classification.