Use of Augmented Reality to Enhance Learning and Collaboration for Students in Neuroscience

Abstract

Denne avhandlingen presenterer design og utvikling av en utdanningsrettet "utvidet virkelighet" applikasjon, på en hodemontert skjerm, for samarbeidsbasert læring av anatomi. Hovedmålet med denne forskningen var å undersøke hvordan applikasjonen kunne legge til rette for både fjern- og samlokaliserte samarbeidslæring. Studien fokuserte på implementering av ulike funksjoner for å forbedre brukernes samarbeid, engasjement og kommunikasjon.

Gjennom forskningsprosessen ble det inkorporerte flere funksjoner i applikasjonen. Dette inkluderte fingertracking, gestikulering, avatar representasjon, chat funksjonalitet, Azure Spatial Anchor og maskinlæring. Fingertracking tillot brukere å peke på spesifikke anatomiske strukturer, noe som muliggjorde fjernsamarbeid. Gestikulering, som vinking, tommel opp og tommel ned, ga uttrykksfulle kommunikasjonsalternativer. Brukeravatar bidrar til en sterkere følelse av samarbeid. Chat-funksjonaliteten var et nyttig verktøy for notater under øktene, selv om begrensninger med HoloLens-tastaturet ble erkjent. Tekstchat ble foreslått som et alternativ for mer effektiv kommunikasjon, spesielt i støyende omgivelser.

Azure Spatial Anchor fungerte bra som en funksjon for å forbedre tilstedeværelsen i en "utvidet virkelighet" applikasjon. Maskinlæringsteknikker ble også funnet å fungere på HoloLens, med en høy prediksjonsnøyaktighet, selv om prediksjonstiden var lengre enn på en tradisjonelt datamaskin. Maskinlæring kjørte bare på en grunnleggende applikasjon, ikke et komplekst system som Nevrolens. Optimalisering av Maskinlæringsmodeller, inkludert utforsking av alternative arkitekturer, ble anbefalt for forbedret ytelse på HoloLens.

Prosjektets funn indikerer at integrering av funksjoner for samarbeid, teknikker for interaksjon og funksjoner for kommunikasjon har hatt en positiv innvirkning på engasjement og kommunikasjon i den utvidet virkelighet applikasjonen. Brukt i utdanning vil dette kunne føre til bedre læring.

This thesis presents the design and development of an educational AR application on a HMD for collaborative anatomy learning. The primary objective of this research was to investigate how the application could facilitate both remote and collocated CL. The study focused on implementing various features to enhance user collaboration, engagement, and communication.

Throughout the research process, several features were incorporated into the application. This included finger tracking, gestures, avatar representation, chat functionality, Azure spatial anchor, and machine learning. Finger tracking allowed users to point at specific anatomical structures, facilitating remote collaboration. Gestures, such as waving, thumbs-up, and thumbs-down, provided expressive communication options for users to engage with one another. The user avatar contributes to a stronger sense of working together. The chat functionality was a helpful tool for note-taking during sessions, although limitations of the HoloLens keyboard were acknowledged. Text chat was suggested as an alternative for more effective communication, particularly in noisy environments.

The Azure spatial anchor is a good feature to improve presence in an AR application. ML techniques were also found to work on HoloLens and achieve high prediction accuracy, although inference times were slower than traditional computer setups. ML ran only on a bare-bone application, not a complex system like Nevrolens. Optimisation of ML models, including exploring alternative backbone architectures, was recommended for improved performance on the HoloLens.

The project's findings indicate that integrating collaborative features, interaction techniques, and communication functionalities into the AR application has positively impacted engagement and communication. This might contribute to enhanced learning.