Decoding Human Emotions From Video-Elicited EEG Responses With Simple Machine Learning Techniques

Abstract

Potensialet til EEG-basert automatisk gjenkjenning av følelser er enormt, fra å kunne forbedre behandlingen av mentale lidelser og utvide kunnskapen om følelsesprossesering hos mennesker til fremskritt innen underholdning eller å faslilitetere for bedre læringsmiljøer. I mitt spesialiseringsprosjekt høsten 2022 ble det foreslått to relativt enkle maskinlæringsmodeller for følelsesgjenkjenning. Andre forskere har tidligere oppnådd svært positive resultater for EEG-basert følelsesgjenkjenning ved hjelp av komplekse modeller som bruker dyp læring. Ytelsen til modellene som ble foreslått i mitt spesialiseringsprosjekt var sammenlignbar med ytelsen til de beste dyp læring modellene foreslått av andre.

Mine foreslåtte modeller benytter seg av egenskapene Hjorth-mobilitet og Hjorth-kompleksitet i tids- og frekvensdomenet, energi i frekvensbåndet, og differensiell entropi. En av de foreslåtte modellene bruker en "support vector machine"-klassifisering, mens den andre bruker logistisk regresjon med L$_2$-regularisering. I begge modellene er frekvensundergrupper og grunnlinjekorreksjon anvendt på dataen.

Denne masteroppgaven er en fortsettelse av arbeidet i mitt spesialiseringsprosjekt, med mål om å videre forbedre mine modeller og sikre deres generaliseringskvaliteter. Håpet for dette prosjektet er å ytterligere forenkle kompleksiteten til modellene ved å utforske kanalreduksjon ved hjelp av Non-dominated Sorting Genetic Algorithm (NSGA-II). Et nytt datasett som inneholder EEG-opptak av deltakere som ser emosjonelt aktiverende stimuli, vil bli samlet inn i dette prosjektet. Det er for tiden bare noen få velkjente datasett av denne typen tilgjengelig. Å opprette et nytt datasett som kan bli offentlig tilgjengelig er derfor til stor fordel for forskersamfunnet. Det nye datasettet vil bli brukt til å teste generaliseringsegenskapene til de foreslåtte modellene ved å analysere modellens ytelse på usett data.

The potential of EEG-based automatic emotion recognition is immense, from improvement in the treatment of mental health and mental disorders to advancements in the entertainment domain or improving the knowledge of emotional processing in humans. In my specialization project last fall, two quite simple machine-learning models were proposed for emotion recognition. Other researchers have obtained very positive results for EEG-based emotion recognition using complex deep-learning models. The models proposed in the specialization project were comparable with regard to the performance of the more complex models.

The proposed models utilize the features Hjorth mobility and Hjorth complexity in the time and power spectrum domain, frequency band energy, and differential entropy. One of the proposed models has a support vector machine classifier, while the other uses logistic regression. In both models, frequency sub-bands and baseline correction was applied to the data.

This master's thesis is a continuation of the work in my specialization project, with the aim of further improving my models and ensuring their generalization qualities. The hope for this project is to further simplify the complexity of the models by exploring channel reduction using the Non-dominated Sorting Genetic Algorithm (NSGA-II). A new dataset containing EEG recordings of participants that watch emotionally activating stimuli will be collected in this project. There are only a few well-known datasets of this kind available at this time. Creating a new dataset that can become publicly available is therefore a great benefit for the research community. The new dataset will be used to check the generalization properties of the proposed models by analyzing the model's performance on unseen data.