Geometric change detection in the context of Digital Twin, leveraging Dynamic Mode Decomposition, Object Detection and innovations in 3D technology

Abstract

I takt med den økende digitaliseringen har Digital Tvilling-teknologi vist seg å bli en betydningsfull teknologi for industri. Ved simulering, prediksjon og optimering av fysiske produksjonssystemer og prosesser, frigjør Digitale Tvillinger industridata, og bidrar dermed med innsiktsfull informasjon som også skaper rom for innovasjon. Den muliggjørende faktoren som sørger for en stadig oppdatert og korrekt Digital modell er store mengder sensordata, hvilket medfører kravene om tilstrekkelig lagringskapasitet og båndbredde over nettverket. For å møte disse kostbare forbeholdene, vil det følgende arbeidet presentere en kostnadseffektiv metode for å oppdatere den digitale kopien av det fysiske miljøet uten behovet for uforholdsmessige mengder lagring, regnekraft eller båndbredde. Fremgangsmåten er å ha et kamera som overvåker en fysisk scene i sanntid hvor utvalgte objekter oppholder seg. I øyeblikekt et objekt beveger seg, vil bevegelsen bli fanget opp av kameraet, objektet bli lokalisert og gjenkjent i bildet, og den nye orienteringen av objektet blir estimert. Den estimerte endringen i orientering kan dermed bli brukt for å oppdatere den digitale tvillingen ved å rekonstruere den endrede scenen på etterspørsel. De muliggjørende teknologiene som blir brukt i denne fremgangsmåten er Dynamic Mode Decomposition for detektering av bevegelse, Yolo for objektgjennkjenning og 3D Maskinlæring for å estimere orientering. Videre vil også en alternativ metode for å utføre objektgjennkjenning som en del av det foreslåtte rammeverket, og som ikke er basert på dyp læring, bli undersøkt. Innen landskapet for 3D-teknologi, er det kjent at 3D-modelering og Computer Aided Design er kraftige og tilgjengelige metoder som muliggjør presise representasjoner av fysiske objekter. Fremgang innen 3D-modelering åpner dermed for spørsmålet om hvordan denne teknologien kan overføres til den fysiske verdenen vi lever i. Denne tanken blir undersøkt i det følgende arbeidet, ved å lage automatiserte skript som samler inn et utvalg syntetisk data til bruk som treningsdata for ulike dyp læring- og ikke dyp læringsmodeller. Deretter blir modellene satt til å testes i den virkelige verden, og deres prestasjon undersøkt.

With the blooming era of digitalization, Digital Twin technology has emerged as the prevailing technology for industry. Through simulating, predicting and optimizing physical manufacturing systems and processes, Digital Twins liberate industry data providing insightful information while embodying the potential for innovation. Moreover, the enabling factor for an updated and accurate Digital representation are large quantities of sensor data that requires sufficient storage and transmission bandwidth.

To circumvent these expensive requirements, the following work implements a cost-effective approach for updating the digital replica of the physical environment, without the need for excessive storage, computation power and bandwidth. The core idea is to have a camera monitor a physical scene in real-time where selected objects reside. Upon detecting a change in the scenery, more specifically the movement of an object, this movement is detected, the object is localized and the new orientation of the object is estimated. This estimated pose can further be used to update the digital replica by reconstructing the new scene on demand. The enabling technologies are Dynamic Mode Decomposition for motion detection, Yolo for object detection and 3D machine learning for pose estimation. An alternative non-Deep Learning method for performing image recognition in the proposed approach is also investigated.

Furthermore, within the realm of 3D technology it is recognized that 3D modeling and Computer Aided Design are powerful and accessible methods that provide accurate representations of real objects. Thus, advancements of 3D modeling technology begs the question of how it can be leveraged for use in the real world. This thought is examined in the following work as well, by programmatically acquire synthetic data for training various Deep learning and non-Deep Learning models, and further examine their performance in the real world.