Integrating Physiological Sensors into an Open Source Multimodal Experimental Setup

Abstract

Denne oppgaven viser hvordan man kan utvikle et multimodalt eksperiment oppsett, ved hjelp av open-source programvare. Det er viktig for ingeniører å vite hvordan et menneske reagerer i interaksjon med maskiner og datamaskiner for å utvikle produkter og systemer best mulig. Utfordringen mange forskere står overfor i dag er at fysiologiske sensorer gjerne kommer med sin egen programvare. Dette gjør det vanskelig å utføre eksperiment med flere sensorer samtidig. Dette har blitt løst ved distribusjonen Lab Streaming Layer (LSL), som er en open-source distribusjon. Denne håndterer alt fra tilkobling av flere sensorer, til synkronisering og opptak av dataene fra disse sensorene. Arbeidet bygger videre fra prosjektoppgaven der det ble implementert egendefinert kode for å sende datastrømmen fra de proprietære sensorene, Shimmer3 EXG og GSR, til LSL. Eksperimentoppsettet integrerer elektrokariogram (EKG), galvanisk hudledeevne (“galvanic skin response” på engelsk, forkortet GSR), sammen med kognitive måleverktøy som elektroencefalografi (EEG) og funksjonell nær-infrarød spektroskopi (fNIRS) og atferdsmessig opptak ved blikksporingsteknologi, som blir testet i et pilot eksperiment.

Det er gitt en grundig forklaring på hva sensorene måler og hvordan de måler det, i tillegg til hvilke teknologier som blir brukt. Pilot eksperimentet er en utvidelse av tidligere arbeid utført av Goucher-Lambert et al. (2019), der deltagere skal utvikle ideer basert på tolv ulike spørsmål og varierende inspirasjonsord. Ideerings eksperimentet er implementert i PsychoPy, en open-source programvare for atferdsvitenskapelige eksperimenter. Motivasjonen for å utføre nettopp dette eksperimentet er for å replisere og validere arbeidet som har blitt gjort, i tillegg til å tilføre ny informasjon til feltet. I og med at det hevdes at vi er i en replikasjonskrise, er det avgjørende å bekrefte tidligere funn for å opprettholde forskning av høy kvalitet. Videre forklares det hvordan datastrømmene burde prosesseres, og resultatene funnet ved pilot eksperimentet. Resultatet viser at oppsettet kan brukes av kjente open-source prosesseringsverktøy, som indikerer at oppsettet er innenfor standarden innen relevant vitenskapelig forskning. Den klarer både å ta opp og prossesere data, som det videre kan gjøres avanserte analyser med. En demosntrasjon av oppsettet i en virkelig situasjon, viser fleksibiliteten og mobiliteten, noe som er ønskelig innen ingeniør feltet.

Foreløpig er utvalget av multimodale og mobile eksperimentoppsett minimale, noe som gjenspeiler at behovet for eksperimentoppsettet beskrevet i denne oppgaven er stort. Ettersom teknologien blir mer komplisert og brukes oftere i hverdagsmiljøer, er det viktig å forstå hvordan mennesker interagerer med og reagerer på datamaskiner og maskiner i konteksten de brukes i.

Arbeidet som ble gjort i sammenheng med denne oppgaven har resultert i en artikkel, akseptert for NordDesign konferansen 2022.

This thesis shows how to develop a multimodal experimental setup, utilizing open-source software. To best develop products and systems, engineers must have an understanding of human responses in interaction with computers and machines. Research challenges today include physiological sensors using their own proprietary software, which make it difficult to run experiments with multiple sensors simultaneously. Lab Streaming Layer (LSL) is one solution, an open-source software distribution that handles data collection and presentation as well as networking and time-synchronization. The work described in this thesis builds on the project assignment where custom code was implemented to send the data stream from the proprietary sensors, Shimmer3 EXG and GSR, to LSL. The experiment setup integrates electrocardiogram (ECG), and galvanic skin response (GSR), together with cognitive measurement tools such as electroencephalography (EEG) and functional near-infrared spectroscopy (fNIRS) and behavioral recording by eye tracking technology, which is tested in a pilot experiment.

What the sensors measure and how they measure it, as well as the technologies used, are all thoroughly explained. The pilot experiment is an extension of previous work carried out by Goucher-Lambert et al. (2019), where participants are asked to develop ideas based on different questions and varying words of inspiration. The Ideation experiment is implemented in PsychoPy, open-source software for behavioral science experiments. The motivation for conducting this experiment is to replicate and validate the work that has been done, in addition to adding new information to the field. As it is claimed that we are in a replication crisis, it is critical to confirm earlier findings in order to maintain high-quality research. Further, the thesis explains how the data streams should be processed, and the results are presented from the pilot experiment. The results show that the experiment setup can be used by known open-source processing tools, which indicates that it is within the standard of relevant scientific research. The setup is able to both record and process data, with which advanced analyzes can be performed. A demonstration of the setup in a real-world situation shows flexibility and mobility, which is desirable in the field of engineering.

Currently, the selection of multimodal and mobile experimental setups is minimal, which indicates it is a need for the setup presented in this thesis. As technology becomes more complicated and is used more frequently in everyday settings, it is essential to understand how humans interact with and react to computers and machines in the context in which they are used.

The work completed for this thesis resulted in a paper that was accepted for publication at the NordDesign conference in 2022.