Unstructured bin picking of multiple shiny objects using machine learning and 3D computer vision

Abstract

Denne oppgaven presenterer utviklingen av et automatisert system for ustrukturert ``bin picking'' av blanke deler. Hensikten med systemet er at Siemens Energy AS skal bruke det for automatisk kitting av materialstativvogner som brukes til robotproduksjon av batteripakker. Metodene og teorien som brukes i systemet er presentert. Etterfulgt av hvordan de er brukt.

Delene er blanding av metallbraketter, kobling og festemateriell. Et Zivid One 3D-kamera er satt opp for skinnende gjenstander og brukes til å fange punktskyer av høy kvalitet. Punktskyen behandles i MvTec HALCON ved først å beskjære den for kun å inneholde esken med deler av interesse, deretter blir overflatematching gjort ved hjelp av ``point pair features''. Matchene som blir funnet blir evaluert basert på evalueringsverdi og posisjon, og den beste matchen blir videresendt. Delspesifikke plukkregler blir deretter brukt på den videresendte match ``posen'', og de nødvendige transformasjonene er gjort for å skape et gyldig ``pose'' mål for plukking. Posen sendes til en kalibrert ABB YuMi-robot som plukker delen fra esken. Systemet er programmert til å kjøre en sløyfe til alle de spesifiserte delene er plukket.

De utviklede systemprosedyrene og det komplette systemet ble testet for å evaluere ytelsen. Innledende prosedyretester viste at nøyaktigheten ``hand-eye'' kalibreringen og kvaliteten på den fangede punktskyen var god til å plukke med den nødvendige presisjonen. Posisjonsestimeringen ved hjelp av ``point pair features''. var i stand til å finne gode treff i scenen, og de anvendte plukkreglene forvandlet matchen til et gyldig robotmål. Basert på dette målet genererte robotkonfigurasjonsprosedyren den riktige konfigurasjonen for at roboten skal kunne plukke delene. Testing av der komplette systemet visste at den er i stand til å plukke flere deler. Selv om den ikke var i stand til å gjøre dette kontinuerlig over lengre perioder uten operatørhjelp.

This thesis presents the development of an automated system for unstructured bin picking of shiny parts. It is intended to be used by Siemens Energy AS for automatic kitting of material rack trolleys used in the robotic production of battery packs. The methods and theory used in the system is presented and followed by how they are implemented in the system.

The parts are mix of metal brackets, connector and fasteners that are placed unstructured in individual bins. A Zivid One 3D camera is setup for shiny objects and used to capture high quality point cloud of the bins. The point cloud is processed in MvTec HALCON by first cropping it to only contain the bin of interest, then surface matching is done using point pair features. The found matches are evaluated based on match score and position, and the best match is forwarded. Part specific picking rules are then applied to the forwarded match pose and the required transformations are done to create a valid target pose for picking. The pose is sent to a calibrated ABB YuMi robot which proceeds to pick the part from the bin. The system is programmed to run a loop until all the specified parts are picked.

The developed system procedures and the complete system were tested to evaluate the performance. Initial procedure tests showed that the accuracy of the hand-eye calibration and quality of the captured point cloud was good enough the pick with the required precision. The pose estimation using point pair feature were able to find good matches in the scene and the applied picking rules transformed the match into a valid robot target. Based on this target the robot configuration procedure generated the appropriate configuration for the robot to pick the object. Testing the complete pipeline showed that the system is capable of picking multiple parts. Though it was not able to do this continuously over longer periods of time without operator assistance.