Digitally Enhancing Board Games: Possibilities and Challenges with Off-the-shelf Mixed Reality Devices

Abstract

Å digitalt forbedre spill med mixed reality kan åpne opp for nye spillformer. Men dette leder også til en stor utfordring i hvordan de fysiske spillerbrikkene kan spores. Dette blir mer komplisert, da de fleste mixed reality forbruker-HMDs (Head-mounted Displays) ikke er i stand til å håndtere tradisjonell kamerabasert objektsporing, ettersom de har begrenset kameratilgang. Denne oppgaven utforsker mulige metoder for objektsporing for tilgjengelige mixed reality HMDs, gjennom design og utvikling av en komplett flerspiller mixed reality sjakkprototype for både Quest 2 og HoloLens 2 systemene. Den presenterer også en ny metode for objektsporing, kalt HBRA-sporing, som unngår objektsporingsbegrensingene på forbruker-HMDs ved hjelp av de integrerte håndsporingssensorene. Denne metoden er videre evaluert gjennom dedikerte testapplikasjoner, der nøyaktigheten av metoden blir evaluert på tvers av systemer, samt sammenlignet med tradisjonell kamerabasert objektsporing med Vuforia.

Utviklingsprosessen indikerer at de tilgjengelige teknologiene og verktøyene fasiliterer godt for å lage flerspiller mixed reality applikasjoner, men utføringen av objektsporing viser seg å fortsatt være en stor utfordring. Den nye HBRA-metoden ga forbruker-HMDs mulighet til å inkorporere fysiske brikker i mixed reality. Metoden fungerte også bedre enn tradisjonell objektsporing med Vuforia på flere områder, deriblant ytelse, modifiserbarhet og interoperabilitet. Likevel hadde systemet flere svakheter, deriblant å holde den fysiske og virtuelle representasjonen av brikken synkronisert, og å registrere brikkenes bevegelse.

HBRA-metoden viser at det er mulig å inkorporere fysiske objekter med mixed reality forbruker-HMDs. Selv om metoden ikke er perfekt, legger den grunnlaget for nye muligheter innen objektsporing, som har spennende bruksområder også utenfor brettspill-domenet.

Digitally enhancing board games with mixed reality can provide new forms of play. However, implementing them raises a big challenge in how the tangible board pieces can be tracked. This issue is made more complicated as most consumer HMDs (Head-mounted displays) are incapable of traditional camera-based object tracking, due to having restricted camera access. This thesis explores the possible ways of performing object tracking with off-the-shelf mixed reality HMDs, through design and creation of a complete multiplayer mixed-reality chess game prototype for both the Quest 2 and HoloLens 2. It also presents a novel way of object tracking, called HBRA tracking, which bypasses the tracking restrictions for consumer HMDs by using their integrated hand-tracking sensors to perform object tracking. This method is further evaluated through the creation of test-environments, where its accuracy is evaluated across multiple HMDs and compared to traditional camera-based object tracking with Vuforia.

The creation process indicates that the tools and software available greatly facilitate for the creation of multiplayer mixed reality board games, with the most difficult challenge being object tracking. The presented HBRA method is successful in enabling consumer HMDs to support mixed reality applications with tangible pieces. It even excels in areas such as performance, modifiability, and interoperability when compared to traditional Vuforia-based object tracking. However, it has some shortcomings with regards to actually registering piece movements and keeping the pieces' real and virtual components in sync.

The HBRA tracking method shows that it is possible to provide exciting tracking capabilities to consumer mixed reality HMDs. While the method is far from perfect, it provides a stepping stone for new possibilities in tracking, which may be applied beyond the domain of enhanced board games.