Exploring EEG self-supervised learning through channel grouping

Abstract

EEG-klassifisering spiller en kritisk rolle innen nevrovitenskap. Den oppdagede begrensningen med overførbarhet og den begrensede bruken av transformer-baserte modeller inspirerte denne studien til å utforske nye tilnærminger som kan forbedre EEG-klassifisering. Denne masteroppgaven utforsker bruken av selvovervåket læring (self-supervised learning (SSL)) og transformer-baserte modeller til EEG-klassifisering. Den presenterer et fleksibelt rammeverk som muliggjør forhåndstrening på kombinerte datasett med varierende antall kanaler. Oppgaven foreslår å gruppere hver EEG-måling i undergrupper av n kanaler og forhåndstrene ved å enkode disse gruppene individuelt, i stedet for hele målingen. Det foreslåtte rammeverket håndterer effektivt kombinasjoner av datasett med varierende antall kanaler, og forbedrer overførbarheten av læring mellom datasett. Hovedbidragene i denne oppgaven er introduksjonen av et selvovervåket rammeverk kalt DECCaTNet, som bruker kontrastiv læring på grupper av EEG-kanaler ved hjelp av en hybrid CNN-transformer-modell, og et preprosesseringsrammeverk som er i stand til å behandle store datasett fra forskjellige kilder. En grundig eksperimentell evaluering blir utført for å undersøke effekten av kanalgruppering og selvovervåket læring (SSL). Funnene viser at det er effektivt å forhåndstrene modellen med n kanaler for EEG-data, med en gunstig gruppestørrelse på n = 4 i den foreslåtte konfigurasjonen. Resultatene viser en klassifiseringsnøyaktighet på 84,26% på TUH Abnormal testsett. Det viser seg å være gunstig å forhåndstrene modellen på et større datasett, men forhåndstrening over et overdrevent antall epoker fører til svakere resultater. Transformer-baserte modeller presterer godt innenfor SSL-arkitekturen, men direkte sammenligninger med andre modeller er ikke inkludert. Oppsummert presenterer denne oppgaven en ny tilnærming til EEG-signalklassifisering ved å introdusere kanalgruppering, kombinert med selvovervåket læring og transformer-baserte modeller. Den foreslåtte DECCaTNet-modellen, kanalgrupperingsteknikker og forbehandlingsrammen bidrar til videreutvikling av EEG-forskning og tilbyr potensial for fremskritt innen analyse av flerkanaltidsserier.

EEG classification holds a critical role in neuroscience. The identified lack of transferability and limited utilization of transformer-based models inspired this study to explore novel approaches that can enhance EEG classification. This master’s thesis explores the application of self-supervised learning (SSL) and transformer-based encoders to EEG classification. It presents a flexible pre-training framework that supports pre-training on fusion datasets with varying numbers of channels. This thesis proposes grouping each EEG recording into subgroups of n channels, and pre-training by encoding these groups individually, rather than encoding the entire recordings. The proposed pre-training scheme effectively handles data fusion with varying numbers of channels, improving the transferability of learning between datasets. The main contributions of this thesis are the introduction of a self-supervised learning framework called DECCaTNet, which utilizes contrastive learning on groups of EEG channels using a hybrid CNN-transformer encoder, and a preprocessing framework capable of processing large datasets from different sources. A thorough experimental evaluation is performed by examining the effect of channel grouping and SSL. The findings demonstrate the effectiveness of pretraining an encoder with n channels for EEG data, with an optimal group size of n = 4 in the proposed configuration. Results demonstrate an 84.26% classification accuracy on the TUH Abnormal test set. Pre-training the encoder on a larger dataset is found to be beneficial, however, pre-training for an excessive number of epochs leads to degradation of results. The transformer-based encoder performs well within the SSL architecture, although direct comparisons with other encoders are not included. Overall, this thesis presents a novel approach to EEG signal classification by introducing channel grouping, combined with self-supervised learning and transformer-based encoders. The proposed DECCaTNet model, channel grouping techniques and preprocessing framework contribute to the field of EEG research and offer potential for advancements in multichannel time series analysis.