ROS 2 Integration of the ABB YuMi Dual-Arm Robot and the Zivid One 3D Camera for Autonomous Manipulation of Small Components

Abstract

Hovedmålet for denne avhandling er utviklingen av et robotsystem for ekstern styring av en toarmet ABB YuMi industrirobot. Robotsystemet skal utføre oppgaver som autonom håndtering av små komponenter i montasjeoperasjoner. Til dette formålet, presenterer vi metodikk og implementasjonsdetaljer for et ROS 2 basert system. Systemet integrer 3D datasyn for estimering av objekters posisjon og orientering, samt automatisk bevegelsesplanlegging.

Roboten styres ved hjelp av sine "Externally Guided Motion" og "Robot Web Services" grensesnitt. Gjennom disse styres roboten eksternt i sanntid fra et system implementert i ROS 2. For implementasjon av automatisk bevegelsesplanlegging brukes den initielle MoveIt 2 Betaen. Robotsystemet benytter en samplingsbasert og en lineær kartesisk baneplanlegginsmetode. Objekters posisjon og orientering innhentes fra nøyaktige punktskyer generert av en Zivid One 3D kamera. Forprossesering av punktskyer gjøres ved hjelp av programvarebiblioteket PCL, estimering av posisjon og orientering gjøres ved å benytte "point pair features". Styring av Zivid One 3D kameraet samt estimering av objekters posisjon og orientering er integrert i robotsystemet ved hjelp av ROS 2.

Systemets komponenter ble testet både isolert og samlet. Testing av objektdeteksjonsmetoden viste at denne pålitelig fant objekter. Videre viste testing at baneplanleggingsmetodene robust planla baner som unngikk hindringer i rommet. Systemvalidering ble gjennomført i et eksperiment hvor komponenter plukkes fra en boks og plasseres i en annen. Systemet klarte autonomt å gjennomføre oppgaven på en pålitelig måte, noe som indikerer at systemet kan benyttes i industrielle montasjeoperasjoner.

The main objective of this thesis is the development of a system for external control of the ABB YuMi dual arm industrial robot. The robot system is intended to be applied for industrial assembly purposes, carrying out tasks such as the autonomous handling of small components. To this end, we present methodology and implementation details for a ROS 2 based system, integrating 3D computer vision for object pose estimation and automatic motion planning.

The robot is controlled using the Externally Guided Motion and Robot Web Services control interfaces. Through these, the robot is externally controlled in a real-time manner from a robot control system implemented in ROS 2. Automatic motion planning is implemented using the initial MoveIt 2 Beta in sampling-based and linear Cartesian motion planning pipelines. Object poses are obtained from accurate point clouds generated by a Zivid One 3D camera. Preprocessing of point clouds is implemented using the PCL software library and pose estimation is done using point pair features. Both control of the Zivid One 3D camera and pose estimation functionality is integrated into the robot system using ROS 2.

The implemented system components were tested both individually and in an integrated system configuration. Individual tests showed that the pose estimation pipeline was able to reliably find the pose of objects from point clouds. Furthermore, both motion planning pipelines were able to reliably plan motions, avoiding collisions with the environment. System integration was tested in a bin picking application. The system was able to autonomously and reliably perform the bin picking task, demonstrating the applicability of the system to industrial component handling tasks.