Eyetracking i VR

Abstract

Blikkdeteksjon har i dag flere bruksområder blant annet innen akademia og kommersielle sammenhenger. Blikkdeteksjon tillater oss til en viss grad å undersøke hvor brukerens visuelle oppmerksomhet er rettet, som igjen er kunnskap som har bruksområder innen blant annet simulering, rehabilitering og markedsføring for å nevne noen. Denne kunnskapen om brukerens visuelle oppmerksomhet er derimot ikke utelukkende representert i dataene produsert av flere systemer for blikkdeteksjon, hvor dataene blant annet kan inneholde støy og andre øyebevegelser som kan tolkes som brudd i brukerens visuelle oppmerksomhet. Det er derfor nødvendig at disse data klassifiseres for å utvinne de data som er mer representative for brukerens visuelle oppmerksomhet enn rådataene slike systemer produserer. I denne oppgaven presenterer vi først relevant litteratur særlig angående menneskeøyet, visuell oppmerksomhet samt forskjellige kjente algoritmer og metoder for å klassifisere øyebevegelser i data produsert av systemer for blikkdeteksjon. Deretter presenterer vi de relevante VR teknologier og generelle metoder vi benytter oss av i denne evalueringen. Før vi går videre til å evaluere hvorvidt de ovennevnte algoritmer og metoder også kan benyttes for å utvinne data representative for brukerens visuelle oppmerksomhet fra systemer for blikkdeteksjon spesifikt i VR. Vi diskuterer de styrker og svakheter disse algoritmene og metodene har vedrørende blikkdeteksjon i VR. Deretter drøfter vi videre våre resultater, presenterer vår forståelse av hvordan de observerbare øyebevegelsene henger sammen med visuell oppmerksomhet, samt vårt forslag til hvordan klassifiserte blikkdata kan tolkes basert på relevant teori om visuell oppmerksomhet. Vi avslutter ved å presentere det vi forstår som de største utfordringene for å gjøre ovennevnte klassifisering med blikkdeteksjon i VR. Vi observerer her at støy er et gjengående og stort problem for blikkdeteksjon i VR. Videre konkluderer vi at det er mulig å klassifisere øyebevegelser med blikkdeteksjon i VR, med en viss grad av nøyaktighet. Vi presenterer I-HMM algoritmen som den algoritmen som vi forstår av våre resultater som best egnet til å klassifisere øyebevegelser fra blikkdeteksjon i VR av de vi har undersøkt. Vi anbefaler videre arbeid å prioritere å utvinne økt kunnskap om visuell oppmerksomhet og de underliggende visuelle prosesser generelt, slik at disse i større grad kan forstås og tolkes for å bedre kunne utvinne data representative for brukerens visuelle oppmerksomhet vha. blikkdeteksjon i VR.

Eye tracking today has several uses within both academia and commercial contexts. Eye tracking allows us to a certain extent to examine where a user has directed their visual attention, which in turn is knowledge that has uses within amongst others simulation, rehabilitation and marketing to name a few. This knowledge regarding the user’s visual attention is on the other hand not exclusively represented amongst the data produced by several eye tracking systems, where the data may contain noise and other eye movements that may be interpreted as disruption of the user’s visual attention. It is therefore necessary that such data be classified allowing recovery of data which is more representative regarding the users visual attention than the raw data produced by such systems. In this thesis we firstly present relevant literature particularly regarding the human eye, visual attention and different known algorithms and methods used to classify eye movements in data produced by eye tracking systems. We then present the relevant VR technologies and general methods we make use of in this evaluation. Before we proceed by evaluating whether the aforementioned algorithms and methods may also be applied in recovering data representing the user’s visual attention with eye tracking systems in VR specifically. We discuss the strengths and weaknesses of these algorithms and methods regarding eye tracking in VR. We then further discuss our results, present our understanding of how the observable eye movements are related to visual attention, and our proposition for how classified eye tracking data may be interpreted based on relevant theory regarding visual attention. We conclude the thesis by presenting the greatest obstacle, solely based on our results and observations, in classifying eye movements in VR. We observe that high amplitude noise remains a recurring and significant obstacle for eye tracking in VR.

It is possible to classify eye movements using eye tracking in VR, however there might be some loss of accuracy. The I-HMM algorithm was the overall best algorithm in our tests. By our results it is well suited for classification of eye movements with eye tracking in VR.

We recommend future contributions to this field of study should supplement the current knowledge base with regards to attention and visual processes in general. Better understanding of attention and visual processes might be key in extracting representative data of the user’s visual attention using eye tracked VR-equipment.