Emotion Detection using a Low-Cost Wearable Sensing System

Abstract

Emosjoner virker intuitivt som et unkontollert mysterie med en ekstremt stor innvirkning på livene våre. Å finne en forklaring på de ulike emosjonene har vekket interessen til mange filosofer og psykologer gjennom historien. Feltet har gradvis ekspandert og, blant annet, nevroforskere og ingenører har blitt med på oppgaven om å løse mysteriet. Forskning har opp til nå vist at det finnes sammenheng mellom visse fysiologiske signaler og spesifike emosjoner, og forskere har oppdaget fordelen med å benytte datadrevne modeller til å spore viktige indikasjoner.

Videre har vi sett en stor, økende interesse i å overvåke personlig helsedata for å ivareta en sunn livsstil. I dag kan man overvåke puls, søvnkvalitet, aktivitetslevel, og mye mer med en smartklokke. Det er grunn til å tro at humøret til et individ kan bli estimert fra slike helseindikatorer. Videre ville sofistikerte metoder for å direkte utlede ens emosjonelle tilstand fra fysiologiske signaler være et interesant og nyttig element å integrere i slike smartklokker eller eventulle overvåkende armbånd for å gi nyttig tilbakemelding til brukere eller relatert helsepersonell.

For dette formålet vil vi her undersøke mulighetene for automatisk detektering og klassifisering av menneskelige emosjoner ved å prosessere fysiologiske data, samlet ved å benytte et bærbart sensorsystem. Oppgaven undersøker en slik prosess fra begynnelse til slutt, det vil si fra prototype og design av sensorsystemet, til å organisere gjennomføre felteksperiment på frivillige ved å følge en ad-hoc medisinsk protokoll, og til slutt analysere dataprøvene og benytte makinlærings algoritmer til å estimere og klassifisere subjektens emosjoner basert på vellkjent valens-opphisselse metodikk.

Emotions intuitively seem like an uncontrolled mystery with an extremely large impact on our lives. Finding an explanation for different emotions has aroused the interest of many philosophers and psychologists throughout history. The field has gradually expanded and, among others, neuroscientists and engineers have joined in the quest to solve the mystery. Research has up to now shown that there exists a correlation between certain physiological signals and specific emotions, and scientists have discovered the advantage of applying data-driven models to track important indicators.

Furthermore, a huge interest has grown in monitoring personal health data to maintain a healthy lifestyle. Today, one can monitor pulse, sleep quality, activity levels, and much more with a smartwatch. There is reason to believe that the mood of a person can be estimated from such health indicators. Furthermore, the integration of sophisticated methods for directly inferring one's emotional state from physiological signals would provide exciting and useful elements to integrate smartwatches or monitoring wristbands in providing useful feedback to users themselves, and potentially their physicians.

For this purpose, we here explore the possibilities for automatically detecting and classifying human emotions by processing physiological data collected using a wearable sensing system. The thesis explores such a process from beginning to end, i.e., from the prototyping and design of the physiological signals sensing system, to organizing and conducting field experiments on volunteers by following an ad-hoc medical protocol, and finally arriving at analyzing the samples and applying machine learning algorithms for estimating and classifying the emotions of the subjects based on the well-known valence-arousal methodology.