| dc.description.abstract | Følelser er en viktig del av livet og har en stor innvirkning i vårt daglige liv. Det å forstå og kunne kontrollere følelser kan for noen føre til bedre selvbevissthet, empati og livskvalitet. Tradisjonelle metoder for identifisering av følelser innebærer blant annet å be enkeltpersoner beskrive sine egne følelser eller bruke observeringsmetoder. Dette er metoder som er subjektive og utsatt for bias. For å løse noen av disse problemene har forskere begynt å utforske alternative tilnærminger, som blant annet involverer elektroencefalografi (EEG) og maskinlæring.
Denne masteroppgaven ser på hvordan emosjonelle tilstander reflekteres i EEG-signaler, samt mulighetene for automatisk gjenkjenning og klassifisering av følelser. I eksperimentet ble EEG-data fra 20 deltagere samlet inn ved hjelp av to Unicorn systemer med åtte elektroder hver. Hver deltager fikk se 52 filmklipp uten lyd på 40 sekunder hver, før de vurderte de fremkalte følelsene i henhold til 9-punkt SAM-skalaen. SAM er en metode for å måle graden av glede, opphisselse og dominans. EEG-dataen ble deretter filtrert og preprosessert før signalets features fra tidsdomenet og frekvensdomenet ble hentet ut. Oppgaven utforsker også features med ikke-lineære egenskaper. Features som brukes i denne oppgaven er differential entropy (DE), effektspektral tetthet (PSD), Hjorth parametre og fraktale dimensjoner hentet ut fra epoker av fire ulike størrelser på 5, 10, 20 og 40 sekunder. Noen features er også hentet ut fra de fem velkjente frekvensområdene δ, θ, α, β og γ. Features ble deretter matet inn i klassifiseringsmetodene støttevektormaskin (SVM), k-nærmeste naboer (KNN) og flerlags perceptron (MLP) for å evaluere dem på det nye datasettet.
Mer forskning er nødvendig for å komme til en endelig konklusjon om hvilke modeller som yter best basert på resultatene. Variasjon mellom deltagere, ubalansert datasett og vanskeligheter med å skille mellom glede og opphisselse er faktorer som kan ha forhindret dette. Imidlertid var de fleste resultatene over 50%, altså bedre enn tilfeldig gjetting. Litt avhengig av om den rapporterte ytelsesmetrikken er gjennomsnittlig nøyaktighet eller gjennomsnittlig F1-poengsum, hadde de beste modellene en ytelse mellom 59%-73%. Modellene er bedre til å predikere høy/lav opphisselse enn høy/lav glede. Ytelsen for alle modellene er uavhengig av deltagerne, altså er modellene er trent og predikert på tvers av forsøkspersoner.
Arbeidet blir også sammenlignet med prosjektoppgaven, andre tilgjengelige EEG-datasett (dvs. DEAP, DREAMER, AMIGOS, IDEA) og metoder fra eksisterende litteratur. Prosjektoppgaven og metoder fra den eksisterende litteraturen presterte bedre enn modellene som ble evaluert på det nye datasettet. Modellene som er brukt i dette arbeidet, er valgt basert på arbeidet gjort i prosjektoppgaven, og kan dermed lide av overtilpasning. Dessuten involverer de fleste metodene fra eksisterende litteratur dyp læring og komplisert arkitektur. Ytelsen, sammenlignet med andre EEG-baserte datasett, er i tråd med gjennomsnittlig nøyaktighet oppnådd av de andre. Noen av F1-poengsummene til de beste modellene presterer mer enn 13 prosentpoeng bedre enn F1-poengsummen til enkelte datasettene. | |
| dc.description.abstract | Emotions have a large impact on our daily lives. Understanding and being able to control our emotions can lead to improved self-awareness, empathy, and quality of life. Conventional approaches to emotion recognition involve asking individuals to describe their emotional experience or use observer ratings, making them subjective and prone to biases. To overcome some of these issues, researchers have turned to more objective approaches, including electroencephalography (EEG) and machine learning algorithms.
This thesis explores how different emotional states are reflected in EEG signals and the possibilities for automatic decoding and classification of human emotions in terms of valence and arousal. The experiment involves EEG data collected from 20 subjects with two 8-channel Unicorn systems. Each subject watched 52 non-audio movie clips of approximately 40 seconds each and rated the elicited emotions according to the 9-point self-assessment manikin (SAM) scale. The data was then filtered and preprocessed before numerical features from the time domain, i.e. Hjorth parameters, and the frequency domain, i.e. power spectral density (PSD) and differential entropy (DE), were extracted from the signals. This work also explores features with nonlinear characteristics, including fractal dimension. The mentioned features and combinations of them were extracted from epochs of four different sizes, i.e. 5, 10, 20, and 40 seconds. Some were also extracted from five frequency bands of δ, θ, α, β and γ. The extracted features were fed into the classifiers support vector machine (SVM), K-nearest neighbour (KNN) and multilayer perceptron (MLP), and evaluated on the newly-created dataset.
Further analysis is needed to make a finite conclusion on which classification method and feature combination had the best performance. Based on the experimental results, no final conclusive observations were made. Subject variability, unbalanced classes in the dataset, and in between valence and arousal discrimination are factors that might have prevented this. However, most of the results were above 50%, i.e. better than random guessing. In addition, most of the best-performing models had a performance somewhere between 59%-73%, depending on whether the used metric is average accuracy or average F1-score. High/low arousal classification outperformed high/low valence classification on average. The performance for all models is subject-independent, i.e. the models are trained and predicted across subjects.
The work is also compared with the previously written specialization project on emotion decoding on SEED dataset, other publicly available datasets and state-of-the-art methods. The accuracies and F1-scores from the specialization project and the state-of-the-art methods outperformed models evaluated on the newly-created dataset. The models used in this work have been selected based on the specialization project, which might lead to some overfitting. Further, most of the state-of-the-art methods are complex, involving deep learning methods and complicated architecture. However, the performance, compared to other EEG-based emotion datasets (i.e. DEAP, DREAMER, AMIGOS, IDEA), is consistent with the average accuracy obtained by the others. Some of the proposed models outperform those datasets that reported F1-score with more than 13 percentage points. | |
