Motor Imagery-based Brain-Computer Interfaces: Exploring Optimization and Transfer Learning Techniques for Multiclass Classification

Abstract

Dette arbeidet fokuserer på å håndtere noen utfordinger innen hjerne-datamaskin-grensesnitt (BCI) basert på forestilte bevegelser (MI), kalt MI-BCI, inkludert forbedring av deteksjon og klassifisering av MI, identifisering og håndtering av BCI-inkompetanse, reduksjon av kostnader knyttet til datainnsamling og -behandling, samt redusering av initialiserings- og kalibreringstid knyttet til BCIer. Arbeidet foreslår løsninger for å forbedre den generelle effektiviteten, påliteligheten og brukeropplevelsen til MI-BCI-systemer.

Flere teknikker utforskes for å håndtere disse utfordringene, inkludert MI-deteksjon, overføringslæring (TL), optimalisering av tidsvinduer og frekvensbånd, kanalreduksjon, analyse av hendelsesrelaterte potensialer (ERP) og effektspektraltetthet (PSD), samt bruk av Random Forest (RF) og konvolusjonelle nevrale nettverk (CNN) til klassifisering. Disse teknikkene ble testet på flere klassekombinasjoner på fire ulike datasett, kalt IV2b, IV2a, NTNU og SMR.

Gjennom eksperimenter ble flere løsninger på disse utfordringene identifisert. BCI-inkompetanse kan håndteres ved å bruke CNN, optimalisere tidsvinduer og frekevensbånd eller utføre kanalreduksjon, da disse teknikkene var spesielt effektive for lavt ytende deltakere, og gjorde det mulig for dem å oppnå nøyaktigheter over sjansenivået. Videre kan et pålitelig BCI-system oppnås ved å bruke RF med frekvensbåndekstraksjon (FBE) til MI-deteksjon og CNN til MI-klassifisering, ettersom disse metodene var robuste og oppnådde høye nøyaktigheter.

I tillegg kan problemet med tidkrevende initialisering og kalibrering løses ved å bruke forhåndstrente modeller ved hjelp av TL, da denne metoden var robust og oppnådde sammenlignbare resultater med individavhengig klassifisering. Brukskomfort og brukbarhet kan forbedres ved hjelp av kanalreduksjon, ettersom noen kanaler viste seg overflødige, men denne prosessen må utføres på en individ-spesifikk måte. For å redusere den overordnedde kostnaden til BCI systemet, viste TL og kanalreduksjon seg effektive, ettersom forhåndstrente modeller reduserte behovet for omfattende datainnsamling, og færre kanaler leder til lavere beregningskostnader og færre prossessorer. I tillegg ble det funnet at analyse av deltakerens ERP og PSD signaler kan brukes til å predikere ytelsen før ressurskrevende aktiviteter utføres, da de var betydelig forskjellige for høyt og lavt ytende deltakere.

Samlet sett bidrar dette arbeidet til feltet ved å addressere kritiske utfordinger innen MI-BCI-teknologi og foreslå løsninger for å forbedre ytelsen og brukbarheten. Funnene antyder videre fremskritt innen feltet, og bringer utviklingen av praktiske og effektive MI-BCI-systemer for anvendelser i virkeligheten ett skritt nærmere realisering.

This thesis focuses on addressing some challenges of Motor Imagery-Based Brain-Computer Interfaces (MI-BCIs), including enhancing Motor Imagery (MI) detection and classification, identifying and handling Brain-Computer Interface (BCI) illiteracy, reducing costs associated with data acquisition and processing, as well as reducing the initialization and calibration time related to BCIs. It proposes viable solutions to improve the overall efficiency, reliability, and user experience of MI-BCI systems.

The thesis explores multiple techniques to tackle these challenges, including MI detection, Transfer Learning (TL), optimization of time windows and frequency bands, channel reduction, analysis of Even-Related Potential (ERP) and Power Spectral Density (PSD), and the use of Random Forest (RF) and Convolutional Neural Network (CNN) classifiers. These techniques were tested on multiple class combinations on four different datasets, namely dataset IV2b, IV2a, NTNU, and SMR.

Through experiments, several solutions to these challenges were identified. BCI illiteracy can be addressed by utilizing CNN, optimizing time windows and frequency bands, or performing channel reduction, as these techniques were particularly efficient for low-performing subjects, enabling them to achieve accuracies above the chance level. Further, a reliable BCI system could be obtained by using RF with Frequency Band Extraction (FBE) for MI detection and CNN for the classification of MI tasks, as these methods demonstrated robustness and achieved high accuracies.

Moreover, the issue of time-consuming initialization and calibration can be resolved by leveraging pre-trained models using TL, as the method was robust and achieved comparable results to the subject-dependent classification. Wearability and usability could be improved through channel reduction, as some channels were proven redundant during this process, however, this process should be done in a subject-specific manner. To reduce the overall cost of the BCI system, TL and channel reduction proved effective, as pre-trained models reduce the need for extensive data acquisition, while fewer channels lead to lower computational costs and fewer processors. In addition, it was found that an analysis of the subject's ERP and PSD signals can be used to predict performance prior to resource-intensive activities, as they were significantly different for low and high-performing subjects.

Overall, this thesis contributes to the field by addressing critical challenges in MI-BCI technology and proposing solutions to enhance its performance and usability. The findings suggest further advancements in the field, bringing the development of practical and efficient MI-BCI systems for real-world applications a step closer to realization.