Using Virtual Reality for Artificial Intelligence Education

Abstract

I dei siste åra har etterspurnaden etter kompetanse innan kunstig intelligens (Artificial Intelligence, AI) auka raskt. Universitet og bedrifter verda rundt prøvar å dekke kompetansebehovet. Sidan dei første virtuell verkelegheit (Virtual Reality, VR) hovudsetta kom til forbrukarar i 2016, har VR vore eit stort tema innan utdanning. Feltet er enno ungt, og det er behov for mykje forsking for å finne dei beste måtane å bruke VR i utdanning.

Denne avhandlinga har utforska korleis VR kan brukast i AI-utdanning. Målet var å utvikle ein VR-applikasjon som gjer ein engasjerande introduksjon til djup læring (deep learning) og nevrale nettverk (neural networks), for å sjå kva studentar synast om å bruke eit slikt verktøy til læring. Prosjektet bestod av to fasar med forsking. I Fase 1, vart ein annan VR-applikasjon frå det overordna prosjektet brukartesta på 12 studentar frå eit fag om djup læring. Vi avslørte at prosjektet hadde potensiale, men at mykje arbeid måtte gjerast for å rettferdiggjere bruken av VR. Eit nytt konsept vart definert for Fase 2, basert på resultat frå brukartesting og litteraturstudiet. Det nye konseptet gjekk ut på å bruke utdannings-''escape room'' element, for å la studentar lære pensum på ein engasjerande måte ved å gjere 3D-puslespel, utrekningar og quiz basert på pensum. Dei ulike tema i pensum vart delt inn i separate rom for å gje studentane intuitiv progresjon gjennom pensum. Ein VR-applikasjon vart utvikla til det frittståande VR-hovudsettet Oculus Quest, for å lage eit lett tilgjengeleg verktøy for studentar, og for å kunne effektivt gjennomføre brukartestar. Den 5 minutt lange videoen i denne lenkja (https://youtu.be/TvlN-dxAn4M) dekkjer konseptet og mesteparten av innhaldet i applikasjonen. På grunn av den globale pandemien som pågjekk, vart prototypen evaluert på to alternative måtar på internett. 15 personar testa applikasjonen og svara på eit spørjeskjema. 26 personar svara også på eit spørjeskjema etter dei hadde sett ein video.

Resultata tilsa at brukarane var veldig interesserte i konseptet, som potensielt også kan vere nyttig i andre fag som krev ei visuell forståing av pensum, slik som vitskaplege fag. Deltakarane viste stor interesse for 3D-visualiseringar slik som for ''gradient descent'' og nevrale nettverk. I tillegg viste deltakarane interesse i fleire av oppgåvene. Det blei konkludert at hovudfordelane med å bruke VR i denne samanhengen var å bruke interaktive 3D-visualiseringar, og å oppfordre studentar til å ''lære av å gjere''. Dette prosjektet er eit av dei første forskingsprosjekta som har utforska bruken av eit frittståande rom-skala VR-hovudsett i utdanning. Verktøyet har vist seg å ha stort potensiale, sidan det kan gjerast lettare tilgjengeleg for studentar, sjølv om det krevst meir arbeid for å optimalisere programvare, samanlikna med kabla hovudsett. Eit potensielt bruksområde for den endelege applikasjonen kan vere som eit tilleggsverktøy, der studentar får ein introduksjon i nye tema innan AI. Deretter kan dei forsetje med tradisjonelle læringsmetodar for å få ei fullstendig forståing av pensum.

In recent years, the need for artificial intelligence (AI) competence has increased at a high rate. Universities and companies worldwide are attempting to meet the need for competence. Since the release of the first consumer virtual reality (VR) headsets in 2016, VR has become a bigger topic than ever in education. However, the field is still young, and much research is needed to find the best ways to apply VR in education.

This thesis explored how VR can be used in AI education. The goal was to develop a VR application that gives an engaging introduction to deep learning and neural networks to see what students think about using the tool for learning. The project consisted of two phases of research. In Phase 1, another VR application from the overall project was user-tested by 12 students in a deep learning course. We revealed that the project had potential, but that much work was needed to justify the use of VR. A new concept was defined for Phase 2, based on the results and the literature study. The new concept was to apply educational escape room elements, as an attempt to let students engagingly learn the curriculum, by doing 3D-puzzles, calculations, and quizzes based on the course-material. The curriculum's topics were split into separate rooms to give intuitive progress. A VR application was developed for the standalone Oculus Quest, to make a more accessible tool for students and efficiently conduct user-tests. The 5-minute video in this link (https://youtu.be/TvlN-dxAn4M) covers the concept and majority of contents of the application. The prototype was evaluated in two alternative ways online, due to the global pandemic of 2020. 15 people tested the application and responded to a questionnaire. 26 people responded to a questionnaire after watching a video.

The results showed that people were very interested in the concept, and it could potentially also be beneficial in other courses that require a visual understanding, such as STEM-courses. The users were highly interested in 3D-visualizations, like the visualization of gradient descent and neural networks. Also, the participants showed interest in multiple tasks. In conclusion, the main advantages of using a VR application in this context is to apply interactive 3D-visualizations that are challenging to experience by other means, and encourage students to ''learn-by-doing''. This is one of the first research projects exploring the use of room-scale standalone VR in education. It has shown great potential since the tool can be made accessible for students more easily, even though the software requires higher optimization efforts, compared to tethered devices. One potential use case of the final application is to apply it as a supplementary tool, that gives students an introduction to new topics within AI. Then the students can proceed with traditional learning methods to understand the curriculum entirely.