Unsupervised klassifisering av øyebevegelser

Abstract

Øyebevegelser kan kategoriseres i flere kategorier, for eksempel sakkader og fikseringer. Klassifisering av øyebevegelser er interessant i felt som psykologi og medisin. En lege kan for eksempel bruke øyebevegelse data for å se om en pasient har former for psykiske lidelser. Slik teknologi kan brukes til å advare brukere om lidelser, bare å benytte dagligdags teknologi. Digitale klokker som måler blodtrykk og hjerterytmer er eksempler på lignende teknologi.

Problemet med dagens løsninger er at de er dyre og u-presise. Bruk av ir-kamera og tradisjonelle algoritme baserte modeller er vanlig. Algoritmene må også kalibreres med terskelverdier eller lignende. Hvis teknologien skal brukes i konsumer produkter, må nye løsninger utvikles. Dette er to av flere utgangspunkt bak problemstillingen, som skal besvares gjennom rapporten.

Resultatet av tradisjonelle algoritmer, vil gi forskjellige resultater avhengig av spesialisten som har kalibrert algoritme. Klassifisering av øyebevegelser er ikke gjort ved en universal utformet standard. Hva som regnes som en øyebevegelse vil variere fra person til person, og flere av bevegelsene kan ha overlapp i hva som kjennetegner dem. I prosjektet vil det bli utarbeidet en bedre modell, som ikke er påvirket av menneskelig interferens. Metodene self-supervised og un-supervised maskinlæring blir brukt for å håndtere dette problemet.

Gjennom prosjektet utforsket jeg en rekke forskjellige modeller. Den endelige modellen var en transfer-learning basert modell, som brukte en selfsupervised auto-enkoder og un-supervised en dim-reduksjon + k-means klynge modell. Klassifiseringene modellen gjorde er basert på sammenhenger som ble uthentet uten menneskelig innflytelse.

Resultatene svarte ikke på problemstillingen. Ende-til-ende modellen greide ikke klynge øyebevegelsene i meningsfulle klynger. Modellen jeg brukte var utilstrekkelig for oppgavens vanskelighetsgrad. Ved videre arbeid anbefales bruk av andre modeller, for eksempel en Disentangling Variational Autoencoder, eller revurdere bruk av en unsupervised ende-til-ende modell.

Eye movements can be categorized into several categories, such as saccades and fixations. Classification of eye movements is interesting in fields such as psychology and medicine. A doctor can, for example, use eye movement data to see if a patient has forms of mental illness. Such technology can be used to warn users about ailments, just using everyday technology. Digital watches that measure blood pressure and heart rhythms are examples of similar technology.

The problem with current solutions is that they are expensive and imprecise. Use of infrared cameras and traditional algorithm-based models is common. The algorithms must also be calibrated with threshold values ​​or similar. If the technology is to be used in consumer products, new solutions must be developed. These are two of key components behind the task, which needs to be answered throughout the report.

Traditional algorithms will give different results depending on the specialist who has calibrated the algorithm. Classification of eye movements is not done by a universally designed standard. What counts as an eye movement will vary from person to person, and several of the movements may overlap in what characterizes them. In this project, a better model will be implemented, which is not affected by human interference. The methods of self-supervised and un-supervised machine learning are used to tackle this problem.

Throughout the project I explored a number of different models. The final model was a transfer-learning based model, which used a self-supervised auto-encoder and an un-supervised dim-reduction + k-means clustering. The classifications made by the model are based on features witch were obtained without human influence.

The results did not tackle the problem. The end-to-end model failed to cluster the eye movements into meaningful clusters. The model I used was inadequate for the the task. For further work, use other models, for example a Disentangling Variational Autoencoder, or reconsidering the use of an unsupervised end-to-end model is recommended.