A Multi-View Self-Supervised Approach to Learn Representations of EEG Data for Downstream Prediction Tasks

Abstract

Denne avhandlingen presenterer en selvovervåket dyp læringstilnærming for å lære og trekke ut representasjoner fra langtids-electroencephalogram (EEG) inndata, for å bli brukt i nedstrømsoppgaver som prediksjon av demens, Alzheimers, generell unormalitet, eller andre langtids- og instansnivå nedstrømsoppgaver. Den foreslåtte metoden bruker fler-visnings kontrastiv læring og Transformer-basert arkitektur for å trekke ut nyttige representasjoner fra rå EEG-data i både tids- og frekvensdomener. Studien undersøker bruken av ulabeliserte dataforstørrelser i forbindelse med Transformere for målet med funksjonsrepresentasjonslæring og kombinasjonen av forskjellige visninger av tid og frekvens for effektive forhåndsopplæringsoppgaver. Den utviklede modellen evalueres og valideres ved hjelp av forhåndsopplæring og nedstrøms prediksjonsoppgaver, og viser lovende resultater i koding av langtids-EEG-data, samt bruk av de resulterende representasjonene for tilstandsprediksjon. Denne forskningen har som mål å bidra til fremme av dyp læringsteknikker i analysen av EEG-data og har potensielle anvendelser i tidlig påvisning og diagnose av nevrologiske lidelser, og åpner døren for videre forskning og undersøkelse på dette området.

This thesis presents a self-supervised deep learning approach for learning and extracting representations from long-period electroencephalogram (EEG) input data, in order to be used in downstream tasks such as prediction of dementia, Alzheimer's, general abnormality, or any other long-period and instance-level downstream task. The proposed method employs multi-view contrastive learning and Transformer-based architecture to extract useful representations from raw EEG data in both time and frequency domains. The study investigates the use of unlabeled data augmentations in conjunction with Transformers for the goal of feature representation learning and the combination of different views of time and frequency for effective pre-training tasks. The developed model is evaluated and validated using pre-training and downstream prediction tasks, demonstrating promising results in encoding long-period EEG data, as well as using the resulting representations for condition prediction. This research aims to contribute to the advancement of deep learning techniques in the analysis of EEG data and has potential applications in the early detection and diagnosis of neurological disorders, and opens the door for further research and investigation in this area.