Object Interaction and Control Design in Virtual Reality Environment for Large Scale Digital Twins

Abstract

Digital Twin og Virtual Reality er to fremtredende teknologier som har hatt stor utvikling de siste to tiårene. Digitale tvillinger er virtuelle modeller av fysiske eiendeler eller prosesser som brukes til simulering, vedlikehold, overvåking og prediktiv analyse. Virtual Reality er en teknologi som lar brukere samhandle med datamaskingenererte virtuelle miljøer på en oppslukende måte. Naturligvis har disse to teknologiene blitt kombinert for å skape oppslukende opplevelser, men disse systemene har så langt vist seg å være visuelle gimmicker. Den nåværende tilstanden til Virtual Reality har mer form enn funksjon og har blitt finjustert for underholdning som spesialiserer seg på interaksjon med små til mellomstore objekter i en sparsom scene, mens industrielle Digitale tvillinger håndterer høypresisjonsbrukstilfeller med store, tett plasserte eiendeler som generelt er okkludert fra brukerens synspunkt. Virtual Reality bruker også kontrollere, utstyrt med gyroskoper og akselerometre som ofrer nedsenking for presisjon, som også hemmer systemets portabilitet og krever ekstra maskinvarevedlikehold. I nyere tid har VR-headset begynt å inkludere kamerabasert håndsporingsteknologi som muliggjør mer naturlige interaksjoner uten behov for fysiske kontroller, men de er ikke presise nok for industrielle applikasjoner. I vårt arbeid foreslår vi en ny multi-input multi-modal håndbasert interaksjonsmetode som tilbyr presis objektinteraksjon egnet for industriell bruk. Vi finjusterte den foreslåtte metoden vår ytterligere for å redusere fysisk tretthet og gi en mer intuitiv interaksjonsopplevelse. Vi utfører også brukerstudier og sammenligner den foreslåtte metoden vår med en grunnleggende implementering. Vi viser empirisk at metoden vår overgår basisinteraksjonsmetoden når det gjelder oppgavenøyaktighet. Vi diskuterer fordelene med den foreslåtte metoden vår og begrensningene ved implementeringen vår etterfulgt av designanbefalinger for håndbaserte interaksjonsmetoder basert på vår analyse og tilbakemeldinger fra brukere. Så vidt vi vet, er dette det første verket som bruker håndbaserte interaksjonsteknikker designet spesielt for okkludert interaksjon med store objekter i en brukstilfelle med høy presisjon.

Digital Twin and Virtual Reality are two prominent technologies that have seen major development in the last two decades. Digital Twins are virtual models of physical assets or processes that are used for simulation, maintenance, monitoring and predictive analysis. Virtual Reality is a technology that allows users to interact with computer-generated virtual environments in an immersive fashion. Naturally, these two technologies have been combined to create immersive experiences but these systems have so far proven to be visual gimmicks. The current state of Virtual Reality has more form over function and has been fine-tuned for entertainment specializing in interaction with small to medium-scale objects in a sparse scene, while industrial Digital Twins deal with high-precision use cases with large-sized, densely positioned assets that are generally occluded from users point of view. Virtual Reality also makes use of controllers, equipped with gyroscopes and accelerometers which sacrifice immersion for precision, which also hamper the system's portability and require additional hardware maintenance. In recent times, VR headsets have started to include camera-based hand-tracking technology which allows for more natural interactions without the need for physical controllers but they are not precise enough for industrial applications. In our work, we propose a novel multi-input multi-modal hand-based interaction method that offers precise object interaction suited for industrial use cases. We further fine-tuned our proposed method to reduce physical fatigue and provide a more intuitive interaction experience. We also perform user studies and compare our proposed method against a baseline implementation. We empirically show that our method outperforms the baseline interaction method in terms of task accuracy. We discuss the advantages of our proposed method and, the limitations of our implementation followed by design recommendations for hand-based interaction methods based on our analysis and user feedback. To our knowledge, this is the first work that makes use of hand-based interaction techniques designed specifically for occluded large-sized object interaction in a high-precision use case.