Prototyping an Experimental Setup to Quantify Neurophysiological Response during In Situ Interaction Experiments

Abstract

Denne masteroppgaven beskriver prosessen og resultatene av et masterprosjekt utført ved institutt for maskinteknikk og produksjon (MTP) ved Norges teknisk-naturvitenskapelige universitet (NTNU) i Trondheim våren 2020. Målet for prosjektet var å utvikle et sensoroppsett for å måle multimodale, nevrofysiologiske manifestasjoner av affekt hos deltakere i eksperimenter relatert til menneske-maskin interaksjon. Hovedfokuset for oppgaven var kvantitative målinger knyttet til konseptene stress og kognitiv belastning. I tillegg inkluderer oppgaven utviklingen av et piloteksperiment for å demonstrere sensoroppsettets evne til å skille forskjellige nivåer av stress og kognitiv belastning.

Det resulterende sensoroppsettet integrerer elektrokardiogram (EKG), galvanisk hudledeevne ("galvanic skin conductance" på engelsk, forkortet GSR), elektroencephalogram (EEG), og funksjonell nær-infrarød spektroskopi (fNIRS). Resultatene fra de inledende forsøkene med bruk av sensoroppsettet indikerte resultater i overensstemmelse med funn rapportert i relevant vitenskapelig litteratur. Resultatene tyder på at sensoroppsettet, utviklet under arbeidet med denne masteroppgaven, utgjør et hensiktsmessig verktøy for forskning innen interaksjonsdesign og affective engineering.

Utviklingsarbeidet som ble gjennomført under dette masterprosjektet har resultert i to bidrag til vitenskapelige publikasjoner. Ved tidspunkt for levering var én artikkel akseptert for publisering i 2020, den andre fremdeles under vurdering.

Nøkkelord: Interaksjonsdesign, menneske-maskin interaksjon (HMI), affective engineering, fysiologiske måleinstrumenter, kognitiv belastning, stress

This thesis presents the process and results of a master's project undertaken at the department of mechanical and industrial engineering (IPM) at the Norwegian University of Science and Technology (NTNU) in Trondheim during the spring of 2020. The assignment was to develop a sensor setup to facilitate the measurement of neurophysiological manifestations of the affective response during human-machine interaction experiments. The primary focus was on the measurements related to the constructs cognitive load and stress. Additionally, a pilot experiment was developed intended for validation of the sensor setup's ability to distinguish different levels of stress and cognitive load.

The resulting sensor setup integrates electrocardiogram (ECG), galvanic skin response (GSR), functional near-infrared spectroscopy (fNIRS), and electroencephalogram (EEG). The results from the initial application of the sensor setup provided results in line with findings reported in relevant scientific literature, indicating that the sensor setup is a viable tool for research related to interaction design and affective engineering.

The development of the sensor setup has resulted in two research papers submitted to relevant scientific publications. At the time of submission, one of the articles was accepted for publication in 2020, and the second under review.

Keywords: Interaction design, human-machine interaction (HMI), affective engineering, physiological sensors, cognitive load, stress