Towards a communication system for patients with locked-in syndrome based on EEG and visual perception

Abstract

Denne oppgaven undersøker muligheten for et enkelt kommunikasjonssystem for personer med Locked-in syndrom (LIS) ved hjelp av en kombinasjon av personens øyebevegelse og hjernens fargeoppfatning. En person diagnostisert med LIS er bevisst og våken, men fanget i sin egen kropp og ute av stand til å bevege seg og kommunisere. Kommunikasjonssystemet som er foreslått her, består av et hjerne-datamaskin-grensesnitt (BCI) som bruker registrerte elektroencefalografi (EEG)-signaler, generert etter en bestemt visuell stimuleringsprotokoll.

BCI-designet benytter en klassifiseringsmodell, og denne oppgaven utforsker ulike mulige state-of-the-art-prosessering og klassifiseringsmetoder for EEG-signalet. Klassifiseringsoppgaven er delt inn i to utfordringer som skal løses. Den første oppgaven består i å skille mellom når subjektet ser på en gitt farge og når subjektet hviler. Den andre består i å skille mellom de fire ulike fargene som subjektet ser på. Det ble designet og utført et eksperiment for å lage et datasett som passer til BCI-spesifikasjonene. Datasettet inkluderer EEG-signaler fra 22 friske forsøkspersoner, der alle ble utsatt for to forskjellige protokoller. Den første protokollen vekslet mellom å utsette deltakerne for en av fire farger og en hviletilstand, mens den andre protokollen viser fargen sammen med et ikon som indikerer et brukerorientert behov.

Resultatene fra eksperimentene viste at begge metodene predikerte data fra begge protokollene like godt. Random forest (RF) klassifisering viste seg å være best når den ble trent og testet på data fra bare ett subjekt. Resultatene beregnet fra de 22 individuelle RF-modellene nådde en gjennomsnittlig nøyaktighet på 74,3 \%, og 61,4 \% når det gjald å skille mellom å se på en farge og hviletilstand og mellom de fire fargene respektivt. RF nådde disse resultatene ved å dekomponere inngangssignalet med variational mode decomposition (VMD), hvor fraktaler, energier og statistiske trekk ble hentet fra komponentene og brukt til å forutsi tilstanden.

Den siste testen i denne masteroppgaven var å lage en generell modell som kunne forutsi oppgave-relatert informasjon fra helt nye personer. Den beste modellen var et konvolusjonelt nevralt nettverk (CNN). Modellen ble forhåndstrent på data fra et optimert utvalg av subjektdata ved hjelp av non-dominated sorting genetic algorithm II (NSGA-II). Deretter utførte modellen en kort rekalibrering av sine filtre på 60 \% av dataene til personen modellen skulle predikere på. Den gjennomsnittlige nøyaktigheten for å skille mellom å se på en farge og hviletilstand og mellom de fire aktivitetstilstandene var henholdsvis på 69,8 \% og 73,6 \%. Dette viser at en generell modell som bare trenger å kalibrere på litt data fra brukeren, er en mulighet for det foreslåtte BCI-kommunikasjonssystemet.

This thesis investigates the feasibility of a simple communication system for persons with Locked-in syndrome (LIS) by using a combination of the brain's color perception and the eye movement of the user. A person diagnosed with LIS is conscious and awake but trapped in his/her own body, unable to move and communicate. The communication system proposed here consists of a brain-computer interface (BCI) that uses recorded electroencephalography (EEG) signals generated after a dedicated visual stimulation protocol.

The BCI design needs a classification model, and this thesis explores different state-of-the-art processing and classification methods for the EEG signal. The classification task is split into two problems. The first problem consists of differentiating between a task state where the subject looks at a presented color and a resting state. The second problem consists of differentiating between the various task states, a subject looking at one of four different colors. An in-house experiment was designed and conducted to create a dataset that fits the designed BCIs specifications. The dataset includes recorded data from 22 healthy subjects, where everyone was exposed to two different protocols. The first protocol alternated between exposing the participants to one of four colors and a resting state. The second protocol displayed the color with a superimposed background icon indicative of a user-oriented need.

The results from the experiments showed that the proposed methods predicted similarly well on input data from both protocols. A random forest (RF) classifier proved to predict best on average when trained and tested on data from just one subject. The results calculated from the 22 individual RF models reached the average accuracies of 74.3 \% and 61.4 \% for differentiating between a task and resting state and between the four task states, respectively. RF reached these results by decomposing the input signal with variational mode decomposition (VMD), where the fractals, energies, and statistical features extracted from the modes were used.

Finally, a general model that could predict task-related information from new subjects was tested. The best performing model was a state-of-the-art convolutional neural network (CNN). The model was pre-trained on data from an optimized selection of subject data from a new dataset by the non-dominated sorting genetic algorithm II (NSGA-II). Then, the model performed a short calibration of its weights on 60 \% of the data from the new subject the model was going to predict. The average accuracy for differentiating between a task and resting state and between the four task states was 69.8 \% and 73.6 \%, respectively. This demonstrates that a general model, only needing to calibrate on a few new samples from the user, can be used to create a BCI communication system.