Towards a Dream Decoder: Classification and Analysis of Dreamful Experiences During Sleep Using Electroencephalography Signals

Abstract

Vår mentale helse og symptomer på psykiske lidelser reflekteres ofte i drømmer. Drømmeanalyse kan være et kraftig verktøy for å identifisere tidlige symptomer og overvåke psykiske lidelser. Å utvikle et verktøy som automatisk kan hente drømmeinnhold fra personer som sover – en drømmedekoder – ville gjort det mulig å samle inn data fra drømmer, og derav gi en bedre forståelse for en persons mentale helse.

Hjerneaktivitet kan måles ved hjelp av elektroencefalografi (EEG). EEG måles ved å plassere metallelektroder, også kalt kanaler, på hodebunnen for å måle de elektriske strømmene som forplanter seg gjennom hodeskallen fra hjernen. Det er en ikke-invasiv, relativt billig teknikk med høy temporal oppløsning som ofte brukes i nevrovitenskapelig forskning og for utvikling av hjerne/maskin-grensesnitt. Med denne teknikken kan vi undersøke hjerneaktivitet under drømmeopplevelser og sammenligne dem med hjerneaktivitet uten opplevelser, for å undersøke hva drømmer er.

Denne oppgaven er et første bidrag til utvikling av drømmedekoderen. For å få til dette er det første skrittet å identifisere når en person drømmer. I denne oppgaven utforsker vi med maskinlæring og metoder for utregning av karakteristikker, for å undersøke i hvilken grad det er mulig å identifisere drømmeopplevelser fra EEG-signaler. Prinsipal komponentanalyse (PCA) i kombinasjon med "common spatial pattern" (CSP), og spektraltetthet (PSD) er anvendt. "Multivariate empirical mode decomposition" (MEMD) er anvendt for å forbedre klassifiseringen. Videre prøver vi å kartlegge de viktigste hjernedelene for å identifisere drømmeopplevelser ved å bruke permutasjonsbasert kanalvalg og spektraltetthetsrepresentasjon, hvorfra vi velger ut et begrenset antall kanaler for videre klassifisering.

To datasett brukes: Zhang \& Wamsley- og Tononi-datasettet, begge gjort offentlig tilgjengelige gjennom "Dream EEG and Mentation" (DREAM)-databasen. De inneholder EEG-data samlet inn før oppvåkning, kombinert med en muntlig rapport om eventuelle drømmer som hver måling er merket med. Målinger gjøres under både non-rapid eye movement (NREM) og rapid eye movement (REM) søvn.

Resultatene indikerer av drømmeopplevelser kan identifiseres fra EEG-signaler ved å bruke maskinlæring. For Tononi-datasettet får vi 0.993 nøyaktighet, 0.994 F-tall, og 0.987 kappa ved å bruke MEMD, PSD, og "extreme gradient boosting". For Zhang \& Wamsley-datasettet, for henholdsvis NREM og REM søvn, får vi 0.94 nøyaktighet, 0.96 F-tall, og 0.84 kappa, og 0.998 nøyaktighet, 0.998 F-tall, og 0.995 kappa ved å bruke MEMD, PCA, CSP, og k-nærmeste naboer. Hvilke hjerneområder som er viktigst kan ikke fastlås helt, men resultatene indikerer områder i parietal- og frontallappen som betydningsfulle.

Dreams reflect our general well-being, with symptoms of mental health disorders often manifesting in our dream content. Dream analysis can be a powerful tool for identifying early symptoms and monitoring mental health disorders. Developing a tool capable of automatic retrieval of dream content from sleeping subjects - a dream decoder - would allow for the retrieval of many more dream experiences, allowing better understanding of a subject's mental well-being.

Brain activity can be measured using electroencephalography (EEG), a relatively inexpensive, non-invasive technique with high temporal resolution. With this technique, we can investigate recordings of brain activity during dream experiences and compare them to recordings of no experience, investigating what dreams are.

This thesis is an initial contribution towards the dream decoder. The first step is to identify when a subject is experiencing a dream. In this work, we experiment with deep learning (DL) and machine learning (ML) to investigate to what extent it is possible to identify dream experiences from EEG signals. Principal component analysis (PCA) and common spatial pattern (CSP) in combination, and power spectral density (PSD), are used for feature extraction. Multivariate empirical mode decomposition (MEMD) is applied to improve the classification. Furthermore, we attempt to define the most important regions for identifying dream experiences using permutation-based channel selection and PSD representation, from which channel subsets are identified for further classification.

Two datasets are used: The Zhang \& Wamsley (ZW) and the Tononi dataset, both publicly available through the Dream EEG and Mentation (DREAM) database. They contain EEG data collected before awakening, paired with a verbal report of any dream experiences from which the recordings are labeled. Recordings are made during non-rapid eye movement (NREM) and rapid eye movement (REM) sleep.

The results indicate that dream experiences can be identified from EEG signals using ML. For the Tononi dataset using 256 EEG channels, we obtain up to 0.993 accuracy, 0.994 F-score, and 0.987 kappa score using MEMD, PSD, and the extreme gradient boosting (XGB) classifier. For the ZW data using 58 EEG channels, during NREM and REM sleep, we obtain 0.94 accuracy, 0.96 F-score and 0.84 kappa, and accuracy 0.998, F-score 0.998 and kappa 0.995, using MEMD, PCA, CSP, and the k-nearest neighbor (KNN) classifier. Firm conclusions on important brain regions are not readily available, but the results indicate areas in the parietal and frontal lobe.