Visualizing the Principles of Ray Tracing Algorithms in Virtual Reality

Abstract

I årene etter at moderne virtual reality headsets kom på markedet i 2016 så har VR blitt brukt til læringsspill og visualisering med gode resultater, og populariteten til VR fortsetter å vokse med enkeltstående enheter som Meta (tidligere Oculus) Quest 2. Raytracing er på samme måte som VR ikke et nytt konsept, men det tok en stund før raytracing kunne kjøres raskt nok til å kunne brukes i praksis. I dag brukes raytracing mye i filmindustrien for å produsere realistiske bilder med 3D-grafikk. Ny teknologi har også gjort det mulig å raytrace i sanntid, som f.eks. ved bruk av grafikkort innen Nvidias RTX-serie som har maskinvare for å kjøre viktige deler av prosessen innen raytracing.

Konsepter innen raytracing kan være vanskelig å lære seg fra en bok. Denne masteroppgaven utforsket hvordan raytracing kan bli undervist ved å ta i bruk VR. Applikasjonen PathVis ble utviklet ved bruk av Unity og kjører på SteamVR-plattformen, og lar en bruker eksperimentere med raytracing og path tracing interaktivt ved å skyte individuelle rays og paths fra en pistol (ray gun). Applikasjonen er strukturert som en korridor som går i sikk-sakk, og konsepter innen raytracing blir introdusert gradvis til brukeren ender opp i et større galleri-rom, hvor brukeren har tilgang til et virtuelt kamera som kan rendre bilder ved bruk av en enkel path tracing-algoritme. Algoritmen har støtte for diffuse (matte), reflektive, refraktive og lysende materialer. Brukeren må utføre en rekke enkle oppgaver for å kunne gå videre i korridoren, og blir først lært hvordan å bevege seg rundt i VR og hvordan objekter kan plukkes opp. Konseptene bak raytracing blir introdusert i "båser" langs veggene, og læringsmateriellet blir presentert gjennom både tekst og tale.

Brukertesting ble gjennomført på to versjoner av PathVis for å evaluere brukbarheten og om brukere liker denne formen for læring. Brukerne føte at raytracing var et godt bruksområde for VR, og likte interaktiviteten som pistolen (ray gun) gav dem. PathVis-applikasjonen kan fungere som en introduksjon til raytracing generelt, og kan brukes som et tillegg til andre læringsformer.

To videoer ble laget for å demonstrere applikasjonen, både uten tale (6:46): https://youtu.be/ho7HpW9-PHs og med engelsk tale (15:20): https://youtu.be/a7GscTKB0hw

Since the advent of modern virtual reality headsets in 2016, VR has seen success and opportunities within teaching and visualizing, and continues to increase in popularity with standalone VR devices like the Meta (formerly Oculus) Quest 2. Like virtual reality the idea of ray tracing is not a novel one, but it only recently became feasible to use it in practice, and it is widely used in the movie industry for producing high quality realistic renders. Ray tracing is also seeing real-time applications today with technology like the Nvidia RTX graphics cards that feature hardware support for important ray tracing processes.

Concepts within ray tracing can be difficult to learn from a book. This thesis explored how ray tracing could be taught by utilizing VR. The PathVis application was developed for the SteamVR platform using the Unity game engine, and lets the user trace rays and paths interactively in VR by using a ray gun. The application is structured as a zig-zagging hallway that introduces concepts one by one until reaching a gallery room where the user has access to a virtual camera that can render images with a simple path tracing rendering algorithm. The rendering algorithm supports diffuse, reflective, refractive and emissive materials, but the algorithm is simplistic and does not perform branching or shoot shadow rays. The user is required to perform simple tasks to proceed through the hallway, starting with a tutorial that teaches the user how to navigate and interact with the application. Concepts are introduced via "booths" along the walls and the learning material is presented as text as well as narrated audio.

User testing was conducted on two versions of the application to evaluate the usability and whether users enjoyed this type of learning. Users felt that ray tracing was a good use case for a VR application and enjoyed using the interactive ray gun. The PathVis application can act as an introduction to ray tracing, and be used as a supplement to other learning methods.

Two playthroughs of the application were recorded for demonstration purposes, without narration (6:46): https://youtu.be/ho7HpW9-PHs and with narration (15:20): https://youtu.be/a7GscTKB0hw