Gløshaugen's Digital Twin

Abstract

Digitale tvillinger, dvs. digitale, kontinuerlig oppdaterte digitale representasjoner av fysiske enheter fra den virkelige verden, blir i stadig økende grad brukt for formål innenfor simulering, overvåkning, prediksjoner, og visualisering. Denne masteroppgaven omhandler forskning og utvikling rundt digitale tvillinger av geografiske lokasjoner, spesifikt et område rundt Gløshaugen i Trondheim, Norge.

Utvikling ble hovedsakelig utført i NVIDIA Omniverse-programvaren. Kode ble laget for å motta posisjonsdata i sanntid og oppdatere posisjoner til objekter i den digitale representasjonen. Bygningsgeometri og takteksturer ble hentet og integrert inn i den digitale scenen automatisk. For veggteksturering ble det utformet en manuell metode ved bruk av fotografi, perspektivkorreksjon og sammenføyning av bilder. Et automatisk alternativ for veggteksturering ved bruk av fotogrammetri ble også utformet. Scenen ble også gjengitt ved bruk av VR-teknologi.

Undersøkelser viste at posisjonsoppdateringer fra den virkelige verden, integrering av bygningsgeometri, og takteksturering kunne i stor grad automatiseres. Den manuelle metoden å utføre veggteksturering produserte gode resultater, og har potensiale til å kjøre i sanntid ved automatisering. Den fotogrammetriske metoden, skjønt automatisk, viste seg å gi forvrengte resultater ved bruk av kun ett frontvendt kamera festet på et kjøretøy. Den er også treg og derfor upassende for sanntidsprosessering.

Nøkkelord: Digital tvilling, datasyn, autonome kjøretøy, simulering, fotogrammetri, teksturering, virtuell virkelighet, geografi, GNSS, veinettverk

Digital twins, i.e. digital, continuously up-to-date digital representations of real-world physical entities, are increasingly used for purposes like simulation, monitoring, prediction, and visualization. This Master's thesis revolves around research and development around digital twins of geographical locations, specifically an area around Gløshaugen in Trondheim, Norway.

Development was done mainly in the NVIDIA Omniverse software platform. Software was created for receiving real-time positional data and update locations of objects in the digital representation. Building geometry and roof textures were fetched and embedded into the digital scene automatically. For wall texturing, a manual method using photography, perspective correction, and image stitching was designed. Also, an automatic alternative for wall texturing was devised using photogrammetry. The scene was also rendered using virtual reality technology.

Research showed that real-world location updates, embedding of building geometry, and roof texturing could be largely automated. The manual method of wall texturing produced good results, and has the potential to run in real-time if automated. The photogrammetric method, although automatic, proved to produce distorted results with only one front-facing on-vehicle camera while driving. It is also slow and thus inappropriate for real-time processing.

Keywords: Digital twin, computer vision, autonomous vehicles, simulation, photogrammetry, texturing, virtual reality, geography, GNSS, road networks