Data augmentation using GANs in EEG-based biometric systems

Abstract

Hjernebølger, målt med electroencephalography(EEG) har mange applikasjoner. Historisk sett har EEG hovedsaklig blitt brukt i medisin, men ved bruk av state of the art teknologi, kan EEG brukes i biometriske systemer, noe som har vist lovende resultater. Lang kalibreringstid for å legge til nye brukere i slike systemer krever videre forskning. Å redusere kalibreringstiden kan gjøre systemet mer brukervennlig, og det kan redusere feil i EEG-dataen som forekommer av at brukeren blir distrahert under data-innhenting. Redusert kalibreringstid kan oppnås med data augmentation-teknikker. Dette består av å generere ny data, for å få en kunstig økt mengde innsamlet data. Generative Adversarial Networks(GANs) har vist at de kan generere høy-kvalitets EEG-data, og i denne masteroppgaven brukes GANs til å generere EEG-data som etterligner spesifikke brukere, for å oppnå en redusert kalibreringstid.

Et state of the art biometrisk system er implementert, i tillegg til en data augmentation prosedyre baser på Deep Convolutional GANs (DCGANs). Metodene er tested med Max Planck Institut Leipzig Mind-Brain-Body Dataset(LEMON), et dataset som inneholder EEG-målinger av personer i resting state.

EEG-dataen ble pre-prosessert for å redusere bråk i signalene, og delt opp i instanser på 1 sekund. Feature extraction var basert på Empirical Mode Decomposition (EMD), og de to mest relevante komponentene ble valgt. For hver instans ble Instantaneous energy, Teagerenergy, Higuchi fractal dimension og Petrosian fractal dimension kalkulert, noe som resulterte i en feature vector. For hver bruker ble et GAN trent med treningssettet. Det ble også trent en Local Outlier Factor One Class Classifier (LOF OCC) for hver bruker med treningssettet, både med og uten data augmentation. Det biometriske systemet ble evaluert med metrikkene True acceptance rate (TAR) og True rejection rate (TRR).

Når det biometriske systemet ble trent på 40 sekunder EEG-data, oppnådde systemet en TAR/TRR på 0.926/0.619. Når treningssettet gjennomgikk data augmentation, slik at det biometriske systemet ble trent på 40 sekunder ekte EEG-data og 360 sekunder generert EEG-data, ble TAR/TRR redusert til 0.915/0.618. Dette viser at å legge til generert EEG-data til treningssettet reduserer systemets ytelse.

Basert på resultatene, ble det konkludert med at den brukte GAN-konfigurasjonen ikke genererte EEG-data lik nok EEG-dataen til hver bruker. Resultatet ble at det biometriske systemets ytelse ikke ble forbedret med data augmentation. Mulige mistenkte for disse resultatene er den lave mengden treningsdata og at GAN-konfigurasjonen ikke tillot stabil trening av GANen. Disse ble ansett som de viktigste utfordringene å jobbe med i videre iterasjoner til data augmentation ved bruk av GANs i EEG-baserte biometriske systemer.

Brain waves, recorded using electroencephalography(EEG) have a variety of applications. Historically EEG has mainly been used in medicine, but applying state of the art technology, applications such as EEG-based biometric systems are enabled, and have shown promising results. Long calibration times for adding new users to such a system is a challenge that needs to be investigated. A reduced calibration time would make the system more user friendly and could mitigate errors in the EEG data, such as those caused by the user being distracted during data collection. A reduction in calibration time can be achieved by using data augmentation techniques. This consists of generating new data to artificially increase the amount of collected data. Generative Adversarial Networks(GANs) have shown the ability to generate high quality EEG data, and in this thesis GANs are used to generate EEG-data which mimics specific subjects in order to reduce calibration time.

A state of the art biometric system is implemented, as well as a data augmentation procedure using Deep Convolutional GANs (DCGANs). The implemented methods are tested using the Max Planck Institut Leipzig Mind-Brain-Body Dataset(LEMON), a dataset containing EEG-recordings of subjects in resting state.

The EEG data was pre-processed to reduce noise and cut into instances of 1 second. The feature extraction applied Empirical Mode Decomposition (EMD), where the two most relevant components were selected. For each instance the Instantaneous energy, Teager energy, Higuchi fractal dimension and Petrosian fractal dimension were calculated, resulting in a feature vector. For each subject a GAN was trained with a training set. There was also trained a Local Outlier Factor One Class Classifier (LOF OCC) for each subject using the training set, with and without data augmentation. The biometric system was evaluated using the metrics True acceptance rate (TAR) and True rejection rate (TRR).

When training the biometric system with 40 seconds of EEG-data a TAR/TRR of 0.926/0.619 was achieved. When augmenting the dataset, such that the biometric system was trained on 40 seconds of real EEG-data + 360 seconds of generated EEG-data, TAR/TRR was decreased to 0.915/0.618. This shows that by appending generated EEG-data to the training set, the system performance is decreased.

Based on the results, it was concluded that the used GAN configuration does not provide EEG-data similar enough to the EEG-data of each subject. The result of this is that the biometric system does not benefit from the data augmentation. Possible suspects for these lackluster results are the low amount of training data and a GAN configuration not permitting stable training of the GANs. These were deemed to be the most important challenges to work with in future iterations of data augmentation using GANs in EEG-based biometric systems.