The Augmented Human: Development of BCI for RGB colour-based automation

Abstract

Denne oppgaven undersøker muligheten for å klassifisere EEG signaler produsert av visuell eksponering av fargene rød, grønn og blå (RGB). Et datasett bestående av 31 subjekter ble analysert. Datasettet ble laget ved NeuroImaging anlegget ved Aalto Universitet i Helsinki av Andres Soler. Det består av EEG målinger med 64 elektroder der deltageren ble eksponert for RGB farger gjennom en eller to økter. Hver økt varte i omtrent 22 minutter. To forskjellige metoder for klassifisering har blitt utforsket. Den første identifiserer kildene til signalene. Når disse var lokalisert ble signaler fra den visuelle hjernebarken hentet ut. En Morlet bølgetransformasjon ble utført på de uthentede signalene, og de transformerte signalene var base for videre ekstraksjon av signalenes egenskaper. Denne metoden nådde en gjennomsnittlig klassifiseringsnøyaktighet på 50% over alle subjekter, med 88% som høyeste nøyaktighet for et individuelt subjekt.

Den andre metoden brukte EEG signalene registrert av 8 elektroder lokalisert ved bakhodelappen og isselappen. En Morlet bølgetransformasjon ble utført på disse signalene og lagde en 3.-ordre tensor for hver epoke. Tensorene ble omformet til en 2-dimensjonal matriseform for hver epoke, og videre transformert til en kovariansmatrise. Kovariansmatrisen ble brukt som input til Riemann-baserte klassifikatorer som kategoriserte signalene med en gjennomsnittlig nøyaktighet på 75% over alle subjekter. 35% av subjekter og økter brukt til RGB-klassifisering klassifiserte med en nøyaktighet på over 80% med den andre metoden. Høyeste nøyaktighet oppnådd for et individuelt subjekt var 93%. Laveste nøyaktighet oppnådd var 54%. Det viser at EEG signalmodellen basert på den andre metoden var over sjansenivå for alle subjekter, siden sjansenivå er 33% for tre klasser.

Et eksperiment på tvers av økter ble gjennomført. Hensikten var å undersøke robustheten til overført læring for Riemann-baserte klassifikatorer. Resultatet viste et gjennomsnitt på 4,6% variasjon i nøyaktighet mellom økten som ble brukt til trening og økten som ble brukt til predikering for 86% of subjektene testet. Dette resultatet støtter opp under hypotesen om at Riemann-klassifikatorer er robuste for overførbar læring.

Den oppnådde nøyaktigheten for RGB-klassifikasjon fra EEG-signaler i denne oppgaven overgår alle tidligere forsøk. Gjennomsnittlig nøyaktighet på 72%, med beste subjektspesifikke nøyaktighet på 81%, var det beste resultatet som var oppnådd før denne oppgaven.

This thesis examines the possibility of classifying EEG signals produced by visual stimuli to red, green and blue (RGB) colours. A dataset of 31 subjects was analysed. The dataset was recorded at the NeuroImaging facilities at Aalto University in Helsinki by Andres Soler. It consists of EEG recordings with 64 channels where the participants were exposed to the RGB colours stimuli during one or two sessions of approximately 22 minutes each. Two different methods for classification have been explored. The first was based on EEG source reconstruction identifying the sources of the signals. When localised, the signals emitted from areas in the visual cortex were extracted. A Morlet wavelet transform was performed on the extracted signals, and the transformed signals were used as a base for further feature extraction. This method reached an average classification accuracy of 50% over all subjects, with 88% as the highest accuracy for an individual subject.

The second method used the EEG signals recorded from 8 channels located at occipital-parietal regions. A Morlet wavelet transform was performed on these signals and created a 3rd-order tensor for each epoch. The tensors were reshaped into a 2-dimensional matrix form for each epoch and then transformed into a covariance matrix. The covariance matrices were used as input to Riemannian based classifiers, classifying with an average accuracy of 75% over all subjects. 35% of the subjects and sessions used for RGB classification obtained an accuracy above 80% with the second method. The highest accuracy obtained for an individual subject was 93%. The lowest accuracy obtained was 54%. Hence, the EEG signal model based on the second methods was above the chance level for all subject, the chance level for three classes being 33%.

A cross-session experiment was conducted in order to investigate the robustness of transfer learning for Riemannian based classifiers. The result was an average of 4,6% variation in accuracy between the source set and target set for 86% of the subjects tested. This result supports the hypothesis that Riemannian classifiers are robust for transfer learning.

The obtained accuracy for RGB classification from EEG signals in this thesis surpasses all previous attempts. Average accuracy of 72% with the best subject-specific accuracy of 81% was the best result obtained previously to this thesis.