Investigating the Use of Automatic Facial Expression Analysis for Mental Workload Estimation

Abstract

Estimering av mental belastning er en viktig faktor i innenfor menneske-maskin grensesnitt og for å skape er komfortabelt, tilfredsstillende og trygt miljø. Mange av metodene som i dag blir brukt til a estimere mental belastning setter ofte store krav til nødvendig utstyr, trent personell til å håndtere dette utstyret i tillegg til at det kan virke forstyrrende for personen som mental belastning måles på. Forskningsmiljøet innenfor affektiv datahåndtering har gått et steg i retningen mot sensor-løse sanntidsmål for deteksjon av affektive tilstander. Dette har beveget seg i retningen mot automatisk analyse an ansiktsuttrykk ved bruk av kamerateknologi og maskinlæringsalgoritmer. Noe forskning tyder på at ansiktsuttrykk er sensitive til affektiv tilstand hos mennesker. Dette begrepet inneholder mange faktorer som også kan brukes i definisjon av mental belastning. Dette innebærer at det også kan finnes sammenhenger mellom ansiktsuttrykk og mental belastning, men det er store hull i litteraturen under denne tematikken. Denne oppgaven tar for seg utforskningen mot a finne en potensiell sammenheng mellom mental belastning og ansiktsuttrykk gjennom en experimentel studie ved bruk av automatisk analyse av ansiktsuttrykk. Resultater fra denne studien tyder på at ansiktsuttrykk er sensitive for påvirkningen av oppfattet mental belastning, men kan ikke si noe om vanskelighetsgraden på oppgaven som blir utført.

Mental workload estimation is an important factor in human-machine interfaces and in creating a comfortable, satisfactory and safe environment. Physiological measures, performance data and subjective ratings have been used to assess mental workload in the past, but can show limitations in regard to equipment demands, trained operators, intertwining definitions, and reliance on post-task memory. The affective research community has been giving a push in demands of sensor free, real-time affect detection which has led to a push towards development of automatic facial expression analysis tools. It has been found that facial movement can be sensitive of numerous affective states. Some of these affective states has many commonalities with concepts that are known be effects of mental workload. Limited research has been investigating the topic of sensor free detection of workload, and the main purpose of this thesis is to investigate if a possible linkage between facial expressions and mental workload using an automatic facial expression analysis tools can be found. An experimental study was conducted using an N-back task for inducing mental workload within subjects and record facial action units to measure possible effect. Results from this experiment imply that there is a connection between subjectively perceived mental workload and facial expression, but that the effect of task difficulty is not evident.