Classification of RGB Color Stimuli in Source Space

Abstract

Denne oppgaven utforsker muligheten for å bruke elektroencefalografi (EEG) signaler for å avgjøre hvorvidt en person undergår rød, grønn, eller blå (RGB) visuelle stimuli. Dersom en algoritme kan utvikles, som kan klassifisere slike stimuli, kan den utgjøre grunnlaget for et hjerne-datamaskin grensesnitt (BCI), et system for å kontrollere datamaskiner ved eksplisitt manipulasjon av hjernesignaler. Dype nevrale nettverk (DNN), spesialisert for EEG signaler, har blitt anvendt for å klassifisere data i dette arbeidet. Utover dette har arbeidet vært rettet mot metoder for å manipulere data, slik at den er mer tilrettelagt for klassifisering. En rekonstruksjonsmetode for å estimere kildene til signalene målt med EEG ble benyttet for å lage en representasjon av EEG data med høyere romlig oppløsning enn de direkte elektrodemålingene. Både elektrodemålingene og de rekonstruerte kildene har flere kanaler med data, som representerer signaler fra posisjoner på hodebunnen (for elektroder) og i hjernen (for rekonstruerte kilder). En metode har blitt utviklet, ved bruk av en genetisk algoritme (GA), for å lete etter optimale undergrupper av kanaler til bruk i klassifisering av hjerneaktivitet forårsaket av RGB stimuli. Et datasett bestående av EEG målinger fra 31 testpersoner ble brukt til å evaluere ytelsen til de forskjellige metodene og klassifiseringsalgoritmene.

Alle klassifiseringsalgoritmene utviklet i dette arbeidet har blitt trent på data fra kun én person, og testet på data fra den samme personen. Fire tester, med til sammen fjorten undertester ble utført, for å evaluere forskjellige kombinasjoner av de utviklede metodene. Resultatene fra disse testene viste ingen forbedring i klassifisering ved bruk av rekonstruerte kilder sammenliknet med direkte elektrodedata. De beste resultatene ved bruk av elektrodedata hadde en gjennomsnittlig nøyaktighet på 80%. Med rekonstruerte kilder var den beste gjennomsnittlige nøyaktigheten 73%. Resultatene viste at metoden for å lete etter undergrupper av kanaler med en GA var en egnet metode for å redusere antallet kanaler, uten tap av nøyaktighet. For rekonstruerte kilder reduserte denne metoden antallet kanaler med 59%, uten å påvirke nøyaktigheten av klassifiseringen. Med elektrodedata reduserte metoden antallet kanaler med 83%, og økte nøyaktigheten med 3%. Datasettet som ble brukt i denne oppgaven har også blitt brukt i tidligere en tidligere studie. De beste resultatet fra det studiet var en gjennomsnittlig klassifiseringsnøyaktighet på 74%, for et utvalg av testpersonene. Med den beste klassifiseringsalgoritmen i dette arbeidet, har det samme utvalget en nøyaktighet på 88%.

This thesis explores the feasibility of using electroencephalogram (EEG) signals to determine whether a person has been exposed to red, green, or blue (RGB) visual stimuli. If a classifier can be developed to distinguish such stimuli, it could serve as the basis for a brain-computer interface (BCI), a system for controlling computers by explicit manipulation of brain activity. In this work, deep neural networks (DNNs), specialized for EEG signals, have been employed to serve as classifiers. In addition to the classifiers, efforts were focused on methods for manipulating the data to make it more suitable for classification. Source reconstruction (SR), a method for estimating brain activity at a set of positions in the brain based on EEG recordings, was used to produce a data representation with higher spatial resolution than the raw electrode data. Both the raw electrode data and the source reconstructed data contain channels, representing signals from scalp locations (for electrodes) or within the brain (for source reconstruction). A channel selection method has been developed, using a genetic algorithm (GA), to search for optimal subsets of channels to use when classifying brain activity elicited by RGB stimuli. A dataset comprised of EEG recordings from 31 subjects was used to evaluate the performance of the different methods and classifiers.

All the classifiers developed in this work have been intra-subject classifiers, meaning they are trained on data from only one subject, and tested on data from the same subject. Four tests, with a total of fourteen subtests, were performed to evaluate different combinations of the developed methods. The results of these tests did not show an improvement in classification accuracy when using reconstructed sources as opposed to raw electrode data. The best results obtained using electrode data had an accuracy of 80%, averaged across subjects. With reconstructed sources, the best average accuracy was 73%. The results proved that channel selection by use of GA is a suitable method for reducing the number of channels without loss of classification accuracy. For reconstructed sources, the channel selection reduced the number of channels by 59%, with the average accuracy remaining the same. When using channel selection on electrodes, the number of channels was reduced by 83%, with an increase in average accuracy of 3%. The dataset used in this thesis has been subject to study in previous research. The best result from that research was an average accuracy of 74%, for a subset of subjects. With the best classifier from this work, the same subset had an average accuracy of 88%.