An Exploration of Techniques for Electroencephalography-Based Motor Imagery Classification for Real-Time Drone Control
Abstract
Denne masteroppgaven undersøker ulike state-of-the-art teknikker for preprosessering, egenskapsekstraksjon og klassifiserings av Electroencephalography (EEG) Motorisk Innbilning (MI) data. Målet for oppgaven var å utvikle et hjerne-datamaskin-grensesnitt (BCI) som nøyaktig kunne klassifisere ulike motoriske innbilninger og tolke dem som kommandoer for å styre en drone i sanntid.
Nøyaktig klassifisering av MI-oppgaver utgjør en betydelig utfordring og forblir et aktivt forskningsområde. Ettersom forskningsfeltet utvikler seg, er det også blitt foreslått en rekke tilnærminger og metoder. Basert på en litteraturgjennomgang ble det valgt ut flere metoder som deretter ble utforsket videre ved hjelp av en flerobjektiv evolusjonsalgoritme kalt Non-Dominated Sorting Genetic Algorithm (NSGA). NSGA-algoritmen ble brukt til å optimalisere modeller som var subjekt-avhengige. Videre ble overførings-læring (TL) benyttet for å lage modeller uavhengig av subjektet.
Etter innledende testing på datasettet bestående av 14 subjekter, ble en undergruppe på 4 subjekter valgt. For offline-klassifiseringen ble modeller for både to og tre klasser implementert. For klassifiseringen med to klasser (høyrehånd og fot), var de høyeste nøyaktighetene oppnådd med subjektene S03 og S09. Subjekt S03 oppnådde en nøyaktighet på 100.00% med ulike maskinlæringsmetoder (ML) og med Dyp Læringsmodellen (DL) EEGnet. Subjekt S09 oppnådde nøyaktigheter på 93.80% med EEGnet og 87.50% med Common Spatial Pattern (CSP) egenskapekstraksjon og Random Forest (RF) klassifisering. For klassifisering med tre klasser (høyrehånd, fot og hvile), oppnådde subjekt S03 nøyaktigheter på 100.00% og 90.00% med henholdsvis EEGnet og CSP-RF. Subjekt S09 oppnådde 87.50% og 65.00% med henholdsvis EEGnet og CSP-RF. Alle resultater ble oppnådd ved bruk av en flat modellstruktur. Omfattende testing av forskjellige TL-modeller viste ingen markant økning i nøyaktighet totalt sett, unntatt for subjekt S09, som oppnådde en nøyaktighet på 95.00%.
For online-klassifiseringen og droneaktivering med klassifisering av to klasser, oppnådde subjekt S03 en nøyaktighet på 81.67% med EEGnet og 89.17% med CSP-RF. Subjekt S09s prestasjon førte til en nøyaktighet på 84.17% ved bruk av EEGnet og 82.50% ved bruk av CSP-RF. Ved introduksjon av hvileklassen ble nøyaktigheten redusert for begge subjektene. Den høyeste oppnådde nøyaktigheten for subjekt S03 var 77.27% og 72.27% for henholdsvis EEGnet og CSP-RF, mens for subjekt S09 var den 74.89% og 67.12% for henholdsvis EEGnet og CSP-RF. This thesis explores different state-of-the-art techniques for preprocessing, feature extraction, and classification of Electroencephalography (EEG) Motor Imagery (MI) data. The goal was to develop a Brain-Computer Interface (BCI) that can accurately classify different MI tasks and interpret them into commands for controlling a drone in real-time.
Accurately classifying MI poses a significant challenge, and remains an active area of research. As the field of study is progressing, numerous approaches have been suggested. Based on a literature review, a selection of approaches were chosen and further exploited using a Multi-objective Evolutionary Algorithm called the Non-dominated Sorting Genetic Algorithm (NSGA). The NSGA algorithm was used for optimizing subject-dependent methods. Further, Transfer Learning (TL) was used to exploit the possibility of making subject-independent models.
After initial testing on the dataset consisting of 14 subjects, a subset of 4 subjects was selected. For the offline classification, models for both 2 and 3 classes were implemented. For the 2-class classification (right-hand and foot), subjects S03 and S09 yielded the highest accuracies. Subject S03 obtained an accuracy of 100.00% with various Machine Learning (ML) methods and with the Deep Learning (DL) model EEGnet. Subject S09 achieved accuracies as high as 93.80% with EEGnet and 87.50% with Common Spatial Pattern (CSP) feature extraction and Random Forest (RF) classification. For three-class classification (right-hand, foot, and rest), subject S03 obtained accuracies of 100.00% and 90.00% with EEGnet and CSP-RF, respectively. Subject S09 obtained 87.50% and 65.00% with EEGnet and CSP-RF, respectively. All results were obtained using a flat model structure. Extensive testing of different TL models showed no significant increase in accuracy overall, except for subject S09, which achieved an accuracy of 95.00%.
For the online classification and drone actuation with two-class classification, subject S03 obtained an accuracy of 81.67% with EEGnet and 89.17% with CSP-RF. Subject S09's best performance led to an accuracy of 84.17% using EEGnet and 82.50% using CSP-RF. When introducing the rest class, the accuracy decreased for both subjects. The highest obtained accuracy for subject S03 was 77.27% and 72.27% for EEGnet and CSP-RF respectively. For subject S09 it was 74.89% and 67.12% for EEGnet and CSP-RF, respectively.