Emerging Technologies for Digital Twins

Abstract

Denne oppgaven utforsker bruken av flere toppmoderne maskinlæringsteknikker for å forbedre implementeringen og verdien av digitale tvillinger. Teknikkene inkluderer Neural Radiance Fields (NeRF), punktskysegmentering, 3D-rekonstruksjon fra punktskyer, store språk modeller (LLM) og optisk tegngjenkjenning (OCR). NeRF representerer muligheten til å lage 3D-rom med høy kvalitet ved å bruke bilder tatt fra en smartenhet. Punktskysegmentering, sammen med 3D-rekonstruksjon fra punktskyer, har potensialet for automatisk generering av svært nøyaktige digitale tvillinger. LLMs, teknologien bak den fenomenale ChatGPT [Ope23c], har et revolusjonerende potensial for datainteraksjon og tilkobling som tidligere har vært umulig. Til slutt gir OCR muligheten til å skanne nøkkelinformasjon (som tagger og etiketter) med kameraer, som ytterligere muliggjør AR-applikasjoner og automatisering. Hver av disse teknikkene, så vel som deres implikasjoner for digitale tvillinger, blir utforsket og diskutert grundig. Denne oppgaven har som mål å belyse hvordan disse teknologiene kan integreres for å foredle og forsterke prosessen med digital tvillingskaping, interaksjon og analyse. Funnene viser et betydelig potensial i denne forbindelse, og fungerer som et potensielt springbrett mot realiseringen av mer nøyaktige, helhetlige og intelligente digitale tvillinger.

This thesis explores the application of several state-of-the-art machine learning techniques in enhancing the implementation and value of digital twins. The techniques include Neural Radiance Fields (NeRF), Point Cloud Segmentation, 3D Reconstruction from Point Clouds, Large Language Models (LLMs), and Optical Character Recognition (OCR). NeRF represents the prospect of creating high-fidelity 3D spaces using images captured from a smart device. Point Cloud Segmentation, along with 3D Reconstruction from Point Clouds, have the potential for automatic generation of highly accurate digital twins. LLMs, the technology behind the phenomenal ChatGPT [Ope23c], has a revolutionary potential for data interactability and connectivity that has previously been impossible. Lastly, OCR grants the capability of scanning key information (such as tags and labels) with cameras, further enabling AR applications and automation. Each of these techniques, as well as their implications for digital twins, are explored and discussed thoroughly. This thesis aims to illuminate how these technologies can be integrated to refine and augment the process of digital twin creation, interaction and analysis. The findings demonstrate a substantial potential in this regard, serving as a potential stepping-stone towards the realization of more accurate, holistic and intelligent digital twins.