AR Sandbox Symbiosis

Abstract

AR Sandbox søker å gjøre utdanning mer effektiv og engasjerende innenfor ulike felt som geografi, geologi og hydrologi. For å oppnå dette må det være intuitivt å bruke. Inndata må føles naturlig og responsiv. Det må være visuelt tiltalende for å fange brukerens oppmerksomhet. Til slutt må det inneholde elementer som gjør det til et effektivt læringsverktøy. Dette prosjektet søker å legge de tekniske grunnlagene slik at det enkelt kan utvides i fremtiden ved å implementere ulike spill og læringsopplevelser.

De viktigste grunnlagene for dette prosjektet er følgende:

• Projeksjon av topografikart og vannsimulering: Prosjektet innebærer projisering av et topografikart på ekte sand og simulering av vannatferd. Disse elementene endres dynamisk som respons på fysiske endringer i sanden, noe som forbedrer realismen og den pedagogiske verdien.

• Interaktive håndbevegelser: Brukerinteraksjon blir muliggjort gjennom håndbevegelser registrert fra et dybdekamera. Denne funksjonen legger til et lag av interaktivitet og innlevelse i sandbox-opplevelsen.

• Inkludering av narrative elementer: Realistiske elementer som dyr, som fisk i vannet og hjort på land, er integrert i sandbox-miljøet. Dette forbedrer ikke bare realismen, men gir også kontekst for læring om økosystemer og habitater.

• Vurdering og evaluering: Prosjektet inkluderer både objektiv vurdering og subjektiv evaluering av det spillifiserte AR-miljøet. Dette sikrer at effektiviteten av den pedagogiske opplevelsen blir målt og optimalisert for opplevelse og læringsutbytte.

Hver av disse elementene har blitt vellykket implementert og testet gjennom en brukertest med fokus på å lære brukerne viktigheten av vannbalanse i symbiose.

Støyen i dybdesensoren var en utfordring som ble møtt i prosjektet. Støyen forårsaket at hver sensoravlesning varierte litt, selv når sanden var i ro. Dette resulterte i uønskede endringer i topografikartet og turbulens i vannsimuleringen. Dette problemet ble redusert ved å fange flere avlesninger fra sensoren og finne gjennomsnittet av verdiene. Dette reduserte støyen betydelig, men på bekostning av økt forsinkelse når man manipulerte sanden og observerte endringene på topografikartet.

I fremtiden kan AR Sandbox utvides ved å implementere ulike pedagogiske opplevelser som bruker topografikartet, håndsporing og vannsimulering.

The AR Sandbox seeks to make education more effective and engaging within various fields like geography, geology, and hydrology. To achieve this, it needs to be intuitive to use. The Input needs to feel natural and responsive. It needs to be visually pleasing to capture the user’s attention. Lastly, it must contain elements that make it an effective learning tool. This project seeks to lay the technical foundations so that it can easily be expanded upon in the future by implementing different games and learning experiences.

The main foundations for this project are the following.

• Projection of Topography Map and Water Simulation: The project involves projecting a topography map onto real sand and simulating water behavior. These elements dynamically change in response to physical alterations in the sand, enhancing realism and educational value.

• Interactive Hand Gestures: User interaction is facilitated through hand gestures recorded from a depth camera. This feature adds a layer of interactivity and immersion to the sandbox experience.

• Inclusion of Narrative Elements: Realistic elements such as animals, like fish in the water and deer on land, are integrated into the sandbox environment. This not only enhances realism but also provides context for learning about ecosystems and habitats.

• Assessment and Evaluation: The project incorporates both objective assessment and subjective evaluation of the gamified AR environment. This ensures that the effectiveness of the educational experience is measured and optimized for experience and learning outcomes.

Each of these items has been successfully implemented and tested through a user test focusing on teaching users the importance of water balance in symbiosis.

The inherent noise in the depth sensor was a challenge encountered in the project. The noise caused each sensor reading to vary slightly, even when the sand was stationary. This resulted in unwanted changes in the topography map and turbulence in the water simulation. This problem was mitigated by capturing multiple readings from the sensor and averaging the values. This greatly reduced the noise, but at the cost of increased latency when manipulating the sand and observing the changes on the topography map.

In the future, the AR Sandbox can now be expanded upon by implementing different educational experiences that utilize the topography map, hand tracking, and water simulation.