Automated Camera Calibration of Picking Robot

Abstract

Når en robot har et kamera montert på hånden, er det viktig å vite den nøyaktige plasseringen og orienteringen til kamerasensoren i forhold til hånden. Problemet med å finne denne posisjonen og orienteringen er kjent som øye-hånd-kalibrering. Det er avgjørende å finne disse så presist som mulig, da det bestemmer hvor presist et objekt som observeres i kameraet kan beskrives i forhold til roboten.

Currence Robotics utvikler en plukk-robot for varelager kalt Grab. Roboten bruker flere kamera under drift til å se objekter den skal plukke, og alle disse kameraene må kalibreres. Når kunder har store varelager vil flere Grab roboter jobbe sammen i det samme lageret, og å få kalibrert alle kameraene på alle robotene tar både tid og ressurser. Denne oppgaven utforsker mulighetene til en kalibreringsstasjon, der roboten kan kjøre inn og kalibrere alle kameraene uten menneskelig assistanse.

Utformingen av Grab gjør at den har færre frihetsgrader enn de fleste andre roboter. Dette gjør at kalibreringen på denne typen roboter er et spesialtilfelle som det ikke er publisert fullt så mye forskning rundt. Likevel har det lykkes i å utvikle en kalibreringsstasjon og en metode som kalibrerer alle kameraene. Kalibreringsstasjonen består av to brett med ChArUco mønster som kan bidra til å øke stabiliteten til kalibreringene i forhold til andre mønster.

Gjennom prosessen i dette prosjektet har den tidligere brukte analytiske metoden for å løse øye-hånd-problemet blitt sammenlignet med en iterativ metode. De to metodene er forskjellige internt i hvordan de bruker informasjonen i brettene ved kalibreringsstasjonen, men kan utenfra være vanskelig å skille, da de bruker kalibreringsstasjonen på en veldig lik måte. Den analytiske metoden innhenter informasjon om brettet kun fra 2D bilder, mens den iterative metoden finner et sett med 3D punkter på brettet.

Helt syntetiske tester har blitt gjennomført i Python for å teste de to metodene på så likt grunnlag som mulig. Currence bruker en robot-simulering i Webots til å teste kode og konsepter. Denne har blitt brukt til å teste både kalibreringen av de enkelte kameraene og kalibreringsstasjonen som helhet. Alle metodene for å kalibrere de forskjellige kameraene har også blitt testet på den ekte roboten.

Resultatene fra Webots, roboten og de syntetiske testene viser ingen tydelige fordeler med å bruke den iterative metoden. Det må likevel påpekes at det vært noen problemer med å sammenligne de to metodene på likt grunnlag. Den analytiske metoden som bruker kun 2D bilder for å innhente informasjon om brettet viser lovende resultater, og med noen forbedringer er det grunn til å tro at denne vil fungere godt.

Whenever a robot has a camera mounted on its hand, it is essential to know the exact position and orientation of the camera sensor relative to the hand. The problem of finding this position and orientation is known as hand-eye calibration. It is crucial to find these as accurately as possible, as it decides how precisely objects observed in the camera can be represented in relation to the robot.

Currence Robotics is developing a pick and place warehouse robot called Grab. The robot uses several cameras during operation to sense items to pick, and all of these must be calibrated. When customers have large warehouses, several Grab robots will work together in the same warehouse, and getting all the cameras on all the robots calibrated takes both time and resources. This thesis explores the possibility of a calibration station, where the robot can drive in and calibrate all the cameras without human assistance.

As a result of Grab's kinematics it has fewer degrees of freedom than most other robots. This means that the calibration of this type of robot is a special case for which not much research has been published. Nevertheless, it has succeeded in developing a calibration station and a method that calibrates all the cameras. The calibration station uses two ChArUco boards that may add more stability to the calibration compared to other board patterns.

The previously used analytical method to solve the eye-hand problem has been compared with an iterative approach through this project. The two methods differ internally in how they use the information from the boards at the calibration station but can be difficult to distinguish from the outside, as they use the calibration station in a very similar way. The analytical method obtains information about the board only from 2D images, while the iterative approach finds and set of distinct 3D points on the board.

Fully synthetic tests have been conducted in Python to test the two methods on as similar a basis as possible. Currence uses a robot simulation in Webots to test code and concepts. This has been used to test both the calibration of the individual cameras and the calibration station as a whole. All the methods for calibrating the different cameras have also been tested on the real robot.

The results from Webots, the robot, and the synthetic tests show no clear advantages of using the iterative method. Nevertheless, it must be pointed out that there are some problems with comparing the two methods on an equal basis. The analytical method that uses only 2D images to obtain information about the board shows promising results, and with some improvements, there is reason to believe that this will work well.