Digital Twin of the KUKA KMR iiwa: Developing a Simulation Framework Using ROS 2 and NVIDIA Isaac Sim

Abstract

De fleste roboter brukes i dag hovedsakelig til repetitive og forutsigbare oppgaver fordi det er utfordrende å programmere roboter som kan operere autonomt i uforutsigbare miljø. Det er tid- og ressurskrevende å utvikle, men til tross for det, har roboter i større grad blitt autonome de siste årene.

Når datamaskinene har blitt kraftigere har også simulatorer fått mulighet til å lage simuleringer likere virkeligheten. Ved å utnytte de nye, kraftige simulatorene kan man redusere kostnader og utviklingstid som igjen fører til raskere utvikling av robotapplikasjoner.

Denne oppgaven utforsker mulighetene en digital tvilling av KUKA KMR iiwa i NVIDIA Isaaac Sim har, ved bruk av ROS 2. KMR iiwa er en mobil manipulator bestående av en KMP 200 omniMove, som er en mobil plattform, og en LBR iiwa 14 R820, som er en manipulator montert på plattformen. Bruksområdene for en slik robot er vide og en mobil manipulator har unike egenskaper som tillater den å manipulere objekter med høy presisjon, i tillegg til å kunne bevege seg over store avstander. Det er komplisert å programmere en slik robot i detalj, så autonom operasjon er ønsket.

Dette prosjektet tar sikte på å utvikle et rammeverk for å effektivt utvikle, teste, optimere og deploye applikasjoner på roboten. For å gjøre dette må en detaljert modell av roboten utvikles. I tillegg må sensorer og aktuatorer nøyaktig simulere de faktiske instrumentene. Til slutt må et standardisert brukergrensesnitt utvikles for å kontrollere roboten.

Eksperiment fokusert på kjøre-systemet, autonom navigering og kartlegging av områder ble gjennomført for å evaluere egenskapene til den simulerte roboten. I tillegg ble den simulerte roboten testet i ulike miljøer for å forsikre oss om at den oppførte seg som forventet.

To nye ROS pakker har blitt utviklet for å styre roboten, og to utvidelser for Isaac Sim ble utviklet for å importere og modellere roboten, i tillegg til å sette opp et brukergrensesnitt mot ROS.

Most robots today are used for repetitive and predictable tasks as autonomous operation in an ever-changing work environment is challenging to program. Moreover, developing such robotic applications is time-consuming and resource-demanding, but despite this, autonomous robots have become increasingly popular in recent years.

As computational power becomes readily available, robotic simulators can simulate the real world more accurately than ever. As a result, utilizing these powerful simulators can lower costs and reduce development time, resulting in faster robotic application development.

This thesis investigates the possibilities of a digital twin of the KUKA KMR iiwa developed in NVIDIA Isaac Sim using ROS 2. The KMR iiwa is a mobile manipulator consisting of the KMP 200 omniMove, a holonomic drive mobile platform, with the LBR iiwa 14 R820 manipulator mounted on top. The use cases for the robot span wide, and the mobile manipulator have unique capabilities that allow it to manipulate objects with high precision and to move over large surfaces. Programming such a robot is involved, and autonomous operation of the robot is desired.

This project aims to create a framework for efficiently developing, testing, optimizing, and deploying robotic applications. To achieve this, a physically accurate robot model must be developed. In addition, sensors and actuators will have to match the physical robot, and a standardized interface for controlling the physical and simulated robot is necessary.

Experiments focusing on the holonomic drive system, autonomous navigation, and mapping were conducted to evaluate the simulated robot's capabilities. In addition, the simulated robot has been tested in different environments to ensure the system performs as expected.

Two new ROS packages have been developed to control the robot, and two extensions for Isaac Sim were developed for importing and modeling the robot and creating an interface with the ROS system.