Towards Liberation: Enhancing BCI Communication in Locked-in Syndrome with RGB-Evoked EEG Signal Classification Using Ensemble Learning Techniques

Abstract

Denne avhandlingen undersøker gjennomførbarheten av å utvikle et sanntids BCI-kommunikasjonssystem for pasienter med LIS ved bruk av RGB framkalte EEG-signaler. Arbeidet sammenligner klassifiseringsnøyaktighet av ulike nevrale nettverksmodeller på to datasett, der EAV ble brukt som en teknikk for å øke ytelsen.

Datasett A består av data fra 21 forsøkspersoner samlet i Helsinki i 2021, med en 58-kanals EEG-hette fra antNeuro. Dataprotokollen viste en av fargene rød, grønn eller blå på en skjerm i 1,3 til 1,6 sekunder, med 140 epoker av hver farge samlet per forsøksperson. Datasett B består av data fra 23 forsøkspersoner, registrert med en 32-kanals EEG-hette fra Mentalab. Datasett B ble samlet inn av forfatterne av denne oppgaven i Trondheim ved Norges teknisk-naturvitenskapelige universitet (NTNU) i 2024, og dataprotokollen innebar å vise de tre fargene, rød, grønn og blå, på skjermen samtidig, med et kryss som indikerte hvilken farge forsøkspersonen skulle fokusere på, noe som økte datakompleksiteten betydelig. Totalt ble 252 epoker samlet for hver farge, hver med en varighet på 0,6 sekunder. For å undersøke effekten av datagrunnlaget, gikk en av forsøkspersonene med på å samle fem økter med den originale protokollen for Datasett B og fem økter med en forenklet protokoll.

Dataen ble bandpassfiltrert mellom 0.1 Hz og 45 Hz, og et notch-filter på 50 Hz ble brukt for å redusere fellesmodusstøy. Den filtrerte dataen ble matet inn i CNN-modellen EEGNeX for å klassifisere de tre fargene. Generelle, individuelle og overførings-modeller ble undersøkt for begge datasettene.

Resultatene indikerer at protokollen for Datasett B fører til mer komplekse hjernesignaler, som igjen reduserer gjennomsnittlig nøyaktighet fra 95.5% for Datasett A til 75.8% for Datasett B. Økning av datagrunnlaget gjennom å måle flere økter med data øker nøyaktigheten til forsøksperson 23 fra 70.6% til 91.3%, noe som indikerer at dataen er for kompleks for modellen til å trekke ut den relevante informasjonen som trengs for klassifisering med bare 756 fargestimuli tilgjengelig. Bruk av den forenklede protokollen fører til betydelig bedre nøyaktighet, og øker ytelsen for forsøksperson 23 til 98.8%, noe som indikerer at det nevrale nettet kan forutsi fargestimuli tilstrekkelig for reell bruk.

This thesis investigates the feasibility of developing a real-time BCI communication system for patients with Locked-in Syndrome (LIS) using RGB evoked EEG signals. The work compares the classification accuracy and performance variability of various neural network models on two datasets, where Ensemble Average Voting (EAV) was used as a technique to increase performance.

Dataset A consists of data from 21 subjects recorded in Helsinki, 2021, with a 58-channel EEG-cap from antNeuro. The data protocol showed one of the colors red, green, or blue on a screen for 1.3 to 1.6 seconds, with 140 epochs of each color collected per subject. Dataset B consists of data from 23 subjects, recorded with a 32-channel EEG-cap from Mentalab. Dataset B was collected by the authors of this thesis in Trondheim at the Norwegian University of Science and Technology (NTNU) in 2024, and the data protocol entailed showing the three colors, red, green, and blue, on the screen simultaneously, with a cross indicating which color the subject was to focus on, thus increasing the data complexity substantially. A total of 252 epochs were collected for each color, each lasting 0.6 seconds. To investigate the effect of data foundation, one of the subjects agreed to collect five sessions with the original protocol for Dataset B and five sessions with a simplified protocol.

The data was bandpass-filtered between 0.1 Hz and 45 Hz, and a notch filter of 50 Hz was used to reduce the common mode noise. This filtered data was input to the Convolutional Neural Network (CNN) EEGNeX to classify the three colors. General, individual-based, and transfer-optimized models were investigated for both datasets.

The results indicate that the protocol for Dataset B leads to more complex brain signals, which in turn decreases the mean accuracy from 95.5% for Dataset A to 75.8% for Dataset B. Increasing the data foundation through recording multiple sessions of data increases the accuracy of subject 23 from 70.6% to 91.3%, indicating that the data is too complex for the model to extract the relevant features needed for classification with only 756 color stimuli available. Using the simplified protocol leads to significantly better accuracy, increasing the performance for subject 23 to 98.8% after EAV, which indicates that the classifier can predict color stimuli sufficiently for real-life use.