An Asynchronous Motor Imagery based Brain-Computer Interface for Two-dimensional Drone Control

Abstract

Dette arbeidet undersøker ulike state-of-the-art pre-prosesseringsmetoder, metoder for å ekstrahere egenskaper og klassifiseringsalgoritmer til bruk på Elektroencefalografi (EEG) data av forestilte bevegelser (MI). Datasettet som brukes lages som en del av dette arbeidet. Formålet er å lage et hjerne-datamaskin-grensesnitt (BCI) som kan klassifisere MI og konvertere det til kommandoer for å kontrollere en drone i sanntid.

Siden forskningsområdet er under utvikling, har flere fremgangsmåter for klassifisering blitt foreslått i litteraturen. Et utvalg av metoder ble derfor tested ved hjelp av en multi-objektiv evolusjonær optimaliseringsalgoritme, med mål om å finne de beste metodene for hver bruker. Dette arbeidet foreslo også en hierarkisk struktur i klassifiseringen, men denne strukturen oppnådde dårligere resultater enn en flat struktur.

En BCI ble implementert for de 2 forsøkspersonene som oppnådde best resultater, av totalt 16 personer. For offline klassifisering av høyre hånds-MI, venstre hånds-MI og en nøytral mental tilstand, oppnådde en forsøksperson en treffprosent på 84.17% ved bruk av Riemannsk geometri-baserte metoder, mens den andre forsøkspersonen oppnådde en treffprosent på 74.17% med en Common Spatial Pattern (CSP)-basert metode. For høyre hånds-MI, venstre hånds-MI, fot-MI og en nøytral mental tilstand, oppnådde de to samme forsøkspersonene en nøyaktighet på 76.88% og 67.50%, begge med Riemannsk geometri-baserte metoder.

Gjennom omfattende testing ble det konkludert med at det ikke var gjennomførbart med klassifisering i sanntid av høyre hånds-MI, venstre hånds-MI, fot-MI og en nøytral mental tilstand med de ervervede dataene. Med høyre hånds-MI, venstre hånds-MI og en nøytral mental tilstand derimot, var det mulig å implementere to-dimensjonal kontroll av dronen i sanntid. For det ene individet resulterte dette i en hyppighet av sanne positive prediksjoner på 70.37%, og en hyppighet av falske positive prediksjoner på 0%. For det andre individet, ble en hyppighet av sanne positive prediksjoner på 91.17% og falske positive prediksjoner på 8.33% oppnådd.

Et fungerende system for å kontrollere en drone med høyre hånds-MI og venstre hånds-MI ble implementert, men kun for to forsøkspersoner, og i et kontrollert forsøksmiljø. Systemet har relativt få frihetsgrader for kontroll med to mulige kommandoer, en lav gjennomstrømning av kommandoer og lang responstid. Det er derfor, enn så lenge, lite anvendelig i praktiske sammenhenger.

This work investigates different state-of-the-art pre-processing techniques, feature extraction methods and classification algorithms for self-recorded Electroencephalography (EEG) Motor Imagery (MI) data, for the purpose of creating a Brain Computer Interface (BCI) capable of classifying MI tasks and convert it into commands to control a drone in real time.

As the field is still evolving, plenty of approaches have been suggested through the literature. To address this, a selection of state-of-the-art methods were tested using a Multi-objective Evolutionary Algorithm called Non-dominated Sorting Genetic Algorithm II, which was used to optimize methods for individual subjects. This work also proposed the use of a hierarchical structure for classification of MI tasks and resting-state, but found it inferior to the flat structure.

Out of 16 subjects, a BCI was implemented for the two highest-performing subjects, subjects 2 and 15. For offline classification of right hand MI, left hand MI and resting-state, subject 2 obtained a classification accuracy of 84.17% using Riemannian Geometry-based features and Logistic Regression (LR), while subject 15 obtained a 74.17% accuracy using Common Spatial Pattern (CSP) and Support Vector Machine (SVM). For right hand MI, left hand MI, foot MI and resting-state, subjects 2 and 15 obtained a classification accuracy of 76.88% and 67.50% respectively, both with Riemannian Geometry-based feature extraction methods.

Through extensive testing, the scheme using right hand MI, left hand MI, foot MI and resting-state was found infeasible for online classification with drone control using the obtained data, due to low accuracy. With right hand MI, left hand MI and resting-state, sufficient accuracy was obtained for a BCI with two-dimensional real-time control of the drone. This resulted in a true positive rate of 70.37% and false positive rate of 0% for subject 2, while the subject 15 managed to obtain a true positive rate of 91.17% and a false positive rate of 8.33%.

A successful system for controlling a drone with left and right hand MI was implemented, but for a limited number of subjects in controlled environments. The system had two control commands, a low throughput of commands and a high response time, and is therefore not yet applicable in practical settings.