Synchronizing EEG and Eye Tracking, and Creating a Hybrid SSVEP-Based BCI Speller in an Immersive VR Environment

Abstract

Dette prosjektet har hatt som hovedfokus å synkronisere data fra en eye tracker integrert i et VR headset, og en EEG. Grunnen til dette er fordi det er viktig å ha synkroniserte datastrømmer fra utstyr som skal benyttes i forskning. For å oppnå dette, har gruppen lagd en prosess for datainnsamling og -analyse som baserer seg på å finne avviket mellom utstyret og deretter kompensere for det. Utstyret er synkronisert basert på blunk, ettersom datasignaturen til denne biologiske markøren er enkelt identifiserbar i begge datastrømmene. For å demonstrere potensialet til disse nylig synkroniserte teknologiene, ble et BCI-stavesystem utviklet i et VR-miljø. En slik løsning skal ha noen fordeler fremfor mer klassiske stavesystemer, som bedre nøyaktighet, hastighet og brukervennlighet. Av den grunn kan slike løsninger muligens være til nytte som kommunikasjonshjelpemiddel for personer med alvorlige motoriske funksjonshemninger. I dette prosjektet var det dog i all hovedsak lagd et slik stavesystem for å demonstrere at den synkroniserte EEGen og eye trackeren kunne brukes til noe. Dette stavesystemet ble også testet av flere deltagere ved et par anledninger for å finne ut om løsningen gruppen kom frem til var brukbar, og om trening i bruk av systemet utgjorde noen forskjell for brukbarheten.

In this project, the group investigate the synchronization of data from an eye tracker integrated within a VR headset, and EEG data. The primary objective was to enable the pairing of these two technologies, thereby expanding current research possibilities at the NTNU Vizlab. The initial part of the project focused on developing a pipeline for data gathering and analyzing the results to achieve precise synchronization between the eye tracker and the EEG. The equipment was synchronized using eye blinks as a common biological marker, given their identifiable characteristics in both EEG and eye tracking data. To demonstrate the potential and capabilities of combining these two technologies, a BCI speller was developed in an immersive VR environment. Integrating eye tracking and EEG technologies in a VR setting aims to enhance the accuracy, speed, and usability of the BCI speller, which has potential applications in assistive technologies and communication for individuals with severe motor disabilities. Lastly, the accuracy of the speller was tested on a handful of participants over a period of time to assess its usability and the effect of training in using the speller.