Developing Realistic Eye Movement in Medical Simulation Manikins: A Study using Eye-Tracking and Machine Learning

Abstract

Denne oppgaven introduserer en innovativ tilnærming for å forstå visuell oppmerksomhet ved å kombinere øyesporing og objektdeteksjonsdata. Innsamlede data brukes til å trene en modell som predikerer neste punkt å feste blikket. Metodene brukt i studien gir verdifull innsikt i deltakernes fokus og mønstre i hvor de ser. Målet for oppgaven er å utvikle en algoritme som gjør det mulig for Laerdal Medical sin pasientsimulator å etterligne realistiske øyebevegelser, noe som kan øke følelsen av realisme i simulerte medisinske opplæringsscenarier.

Studien innebar analyse av innsamlede data for å avdekke visuell oppmerksomhet blant 10 deltakere. Fra analysen ser man mønstre i fokuset på ulike objekter blant deltakerne, der de i stor grad fokuserte mest på objektet i eksperimentvideoen som er mest kontaktsøkende. Samtidig ble det identifisert individuelle forskjeller, som viser variasjonene i oppmerksomhet blant deltakerne.

Basert på de innsamlede dataene og analysen ble det utviklet en modell for å forutsi det neste blikkpunktet. Modellens ytelse ble evaluert og viste forbedret nøyaktighet med færre deltakere inkludert i datasettet. Bruken av større og mer varierte datasett førte til utfordringer. Behovet for bedre håndtering av variert data, som gjenspeiler blikkmønstre hos flere deltakere, understreker viktigheten av ytterligere forbedringer av modellens skalerbarhet og effektivitet.

Studiens begrensninger inkluderer bruk av innhentede ikke-sanntidsdata fra ti deltakere, noe som skaper utfordringer for sanntidsimplementering i pasientsimulatoren. Videre forskning kan fokusere på forbedring av sanntidsytelse og forbedring av objektdeteksjonsmodellen for å unngå behovet for rengjøring av data.

This research introduces an innovative approach to understanding visual attention by combining data collection through eye-tracking experiment and object detection. The data collected are used in the training of the gaze point prediction model to accurately predict the next gaze points. These methodologies also provide valuable insights into participants' gaze behavior and attention patterns. The objective is to develop an algorithm that allows Laerdal Medical's patient simulator to replicate realistic human eye movements, improving the realism of simulated medical training scenarios.

In the study, a important aspect involved analyzing the collected data to gain insights into visual attention patterns among the 10 participants. This analysis revealed patterns in dwell time for different objects, with all participants spending the most time fixating on the object that were most salient in the experimental video. Furthermore, while certain patterns were identified among the participants, individual differences were also found, highlighting the variations in visual attention across the group of participants.

Based on the collected data and analysis, a gaze point prediction model was developed. The model's performance was evaluated, demonstrating improved accuracy with a reduced number of participants in the dataset. Handling larger and more diverse datasets presented significant challenge. The need to effectively manage diverse data, reflecting the viewing patterns of multiple participants, highlights the importance of further improvements in the model's scalability and computational efficiency.

The study's limitations include the use of pre-collected non-real-time data from ten participants, which presents challenges for real-time implementation. Future research can focus on enhancing real-time performance and refining the object detection model to to avoid the need for data cleaning.