Exploring Real-Time Robot Simulation in Isaac Sim with a Digital Twin of a Warehouse Picking Robot

Abstract

Solwr har laget Grab™, en robot designet for å plukke pakker inne på lager. Populariteten og bruken av digitale tvillinger har økt de siste årene. Solwr er interessert i å bruke en digital tvilling av denne roboten for å hjelpe dem med å utvikle funksjonalitet for den. De er også interessert i å erstatte sin eksisterende løsning med en som har bedre ytelse. NVIDIA har nylig gitt ut en applikasjon for simulering av robotikk kalt Isaac Sim. Den er i stand til å utvikle og simulere digitale tvillinger, og var bygget for å øke hastigheten på robotsimulering.

Hovedmålet med dette prosjektet var å utforske bruken av Isaac Sim ved å lage en digital tvilling av Grab™ roboten. I tillegg var det fokusert på å implementere funksjonalitet for å kontrollere og motta sensordata fra den, noe som lar Solwr teste koden sin. I tillegg ble ekstra funksjonaliteter utforsket basert på tilbakemeldinger fra Solwr.

Prosjektet ble utviklet iterativt, ved bruk av iterativ metodikk og tilbakemeldinger fra regelmessige møter. Isaac Sim var hovedapplikasjonen som ble brukt for å oppnå resultatene, men flere andre verktøy og applikasjoner brukt for å utvikle en utvidelse for Isaac Sim var nødvendige for å oppnå resultatene.

Resultatet er en rudimentær digital tvilling som kan styres eksternt og returnere forskjellige sensordata. Den ble utviklet som en Isaac Sim extension som kan importeres til Isaac Sim. Den har viktig funksjonalitet som Solwr kan bruke til å teste koden sin før den brukes på den virkelige versjonen av roboten. Ulike aspekter ved roboten kan simuleres, som sensorer og kinematikk. Disse kan deretter testes i forhåndsdefinerte scenarier der roboten kan plukke opp forskjellige pakker.

Bruken av digitale tvillinger kan også ha ulike sosiale konsekvenser, slik som signifikansen av å bruke en digital tvilling de siste årene, og potensielle forbedringer av sikkerhet, bærekraft og kostnader.

Solwr has created Grab™, a robot designed for picking packages inside warehouses. The popularity and usage of digital twins have increased over the recent years. Solwr is interested in utilizing a digital twin of this robot to aid them in developing functionality for it. They are also interested in replacing their existing solution with one that has better performance. Additionally, NVIDIA has recently released an application for simulating robotics called Isaac Sim. It is capable of developing and simulating digital twins, and was built to speed up robot simulation.

The main objective of this project was to explore the usage of Isaac Sim by creating a digital twin of the Grab™ robot. In addition, it focused on implementing functionality for controlling and receiving sensor data from it, allowing Solwr to test their code. Additionally, extra functionalities were explored based on feedback from Solwr.

The project was developed iteratively, utilizing agile methodology and feedback from regular meetings. Isaac Sim was the main application used for achieving the results, but other tools and applications for developing a custom extension for Isaac Sim were also necessary for achieving the results.

The result is a rudimentary digital twin that can be controlled remotely and return various sensor data. It was developed as a custom Isaac Sim extension that can be imported into Isaac Sim. It has essential functionality that Solwr can use to test their code before deploying it on the real version of the robot. Various aspects of the robot can be simulated, such as sensors and kinematics. These can then be tested in predefined scenarios where the robot can pick up different packages.

The usage of digital twins may also have various social impacts, such as the significance of utilizing a digital twin in recent years and potential improvements to safety, sustainability, and costs.