Comparing Weather Data in Display Environments to Measure Impact of Quality of Experience: Virtual Reality Versus Desktop

Abstract

I løpet av de siste tiårene har datamengdene og kompleksiteten økt raskt. Uten de rette verktøyene for å presentere og analysere de store datamengdene, kan dataene bli uforståelige. For å bruke dataene på best mulig måte, må vi utforske nye metoder og verktøy for å analysere data og hvordan de påvirker sluttbrukerens Quality of Experience (QoE). Det er viktig å undersøke QoE for å få bedre kunnskap om nye analysemetoder og verktøy fordi det måler tjenestens prestasjon fra start til slutt og brukernes samlede opplevelse av tjenesten.

I denne forskningen undersøker vi nye metoder for å utforske data gjennom Immersive Analytics (IA) ved å bruke oppslukende multimedieteknologier som Virtual Reality (VR) som et analyseverktøy. IA kan brukes til å analysere og visualisere data når et standard pc-oppsettet er utilstrekkelig. Det gjør at brukeren kan bli fordypet i dataene og kan gi et nytt perspektiv. Å forstå i hvor stor grad IA og bruken av VR som et analyseverktøy påvirker brukerens QoE og forståelsesnivå sammenlignet med et standard pc-oppsett for 3-dimensjonale (3D) datavisualiseringer, er imidlertid uklart. Hovedformålet med denne studien er å bestemme i hvilken grad et virtuelt analysemiljø (VRE) påvirker brukerens QoE, og i hvilken grad VRE påvirker brukerens forståelse av dataene?

I denne avhandlingen designer, utvikler og sammenligner vi en interaktiv prototype for 3D-værdataanalyse i to ulike analysemiljøer: et pc-miljø (DE) og et VRE. 12 deltakere (6 for hvert miljø) ble presentert 4 oppgaver for å utforske og analysere de presenterte værdataene. Deltakerne samhandlet med prototypen for å analysere de presenterte dataene for å finne de riktige svarene. Antall feil svar ble notert ned for hver oppgave og ga objektive målinger angående brukernes forståelsesnivå. Subjektive målinger, inkludert kvalitative data, om opplevelsen, ble målt gjennom en post-hoc undersøkelse.

Resultatene rapporterer at deltakerne mente at det visuelle aspektet av VRE var mer involverende enn DE, og at de var mindre bevisste på å være i den virkelige verden. Dette viser en minimal økning i QoE for et VRE. For brukernes forståelsesnivå rapporterer de subjektive målingene at DE førte til et høyere forståelsesnivå. I kontrast rapporterer de objektive målingene om færre feil svar for VRE. Resultatene rapporterer imidlertid ikke om noen vesentlig forskjell som bekrefter forskjellen i brukernes forståelsesnivå mellom analysemiljøene.

Vi konkluderer med at et VRE gir brukeren et sammenlignbart forståelsesnivå sammenlignet med et DE når man analyserer data, men det øker nødvendigvis ikke brukerens forståelsesnivå. Vi konkluderer imidlertid med at IA og VR øker brukerens fordypning i dataen når vi analyserer værdata, noe som resulterer i en minimal påvirkning og forbedring av QoE.

Over the past decades, the data quantity and complexity has increased rapidly. Without the right tools to present and analyse the large quantity of data, the data might become incomprehensible. To utilise the data in the best possible way, we need to explore new methods and tools for data analysis and how they impact the Quality of Experience (QoE) of the end-users. The QoE is important to investigate in order to gain knowledge about new analysing methods and tools because it measures the end-to-end performance and the users’ overall experience of the service.

In this research, we investigate new methods of exploring data through Immersive Analytics (IA) by using immersive multimedia technologies such as Virtual Reality (VR) as an analytical tool. IA can be used to analyse and visualise data when the standard desktop setup is insufficient. It allows the user to be immersed in the data and can provide a new perspective. However, understanding to what extent IA and the use of VR as an analytical tool impact the users’ QoE and level of understanding compared to the standard desktop for 3-Dimensional (3D) data visualisations remains unclear. The primary purpose of this study is to determine to what extent does a Virtual Reality Environment (VRE) affect the users’ QoE, and to what extent does a VRE affect the users’ understanding of the data?

In this thesis, we design, develop, and compare an interactive prototype for 3D weather data analytics in two analysis environments: a Desktop Environment (DE) and a VRE. 12 participants (6 for each environment) were presented with 4 tasks to explore and analyse the displayed weather data. The participants interacted with the prototype to analyse the presented data in order to find the correct answers. The number of incorrect answers for each task provided objective measures regarding the users’ level of understanding. Subjective measures, including qualitative data, of the experience, were provided through a post-hoc survey.

The results report that participants felt that the visual aspect of the VRE was more involving than the DE, and they were less conscious of being in the real world. This show a minimal increase in QoE for the VRE. For the users’ level of understanding, the subjective measures report that the DE led to a higher level of understanding. In contrast, the objective measures report less incorrect answers for the VRE. However, the results fail to report any significant difference confirming a difference in the users’ level of understanding between the analysis environments.

We conclude that VRE provides the user with a comparable level of understanding to the DE when analysing data, but it does not necessarily increase the users’ level of understanding. However, we conclude that IA and VR increase the users’ immersion when analysing weather data, resulting in a minimal impact and improvement in QoE.