Seam Extraction and Path Planning with Rapid Replacement of Aluminum Workpiece for Robotic Welding Using Zivid Two and MoveIt2

Abstract

Feltet for robotisert sveising, visuell styring og automasjonsstrategier har vokst betydelig de siste årene. Dette kan tilskrives deres iboende fordeler, slik som økt presisjon, rask deteksjonsevne og høyere allsidighet. Bruken av automatisering er motivert av jakten på økt effektivitet og behovet for forbedret sikkerhet, spesielt i farlige arbeidsmiljøer preget av avgasser, høye temperaturer og trykk.

Denne oppgaven utvikler en metode for å generere en bane ved hjelp av et strukturert lys-kamera, som omfatter en blanding av programvare- og maskinvarebaserte metoder utviklet for automatisert robotsveising. Den foreslåtte metoden innebærer bruk av datasyn, muliggjort av Zivid Two M70 industrielt strukturert lys-kamera, for beregning av avgjørende funksjoner. Parametrene involvert i denne prosessen inkluderer å trekke ut en sveisesømsti fra arbeidsstykket ved hjelp av Holistically-Nested Edge Detection, planlegging av sveisesømsti assistert av menneskelig inntasting, generering av en robotbane ved bruk av MoveIt2, og utførelse av template matching for å kompensere for forskyvning i translasjon og rotasjon for påfølgende arbeidsstykkeplasseringer i robotcellen.

Videre tar denne oppgaven for seg flere praktiske utfordringer ved implementeringen av en visuell-assistert baneplanlegger. Disse utfordringene inkluderer visuell kalibrering, utvikling av algoritmer for sveisesømsubsampling og posisjonsestimering, samt håndtering av den industrielle robotmanipulatoren (Yaskawa GP25-12). Selv om alle disse faktorene er betydningsfulle, ligger hovedfokuset på effektiv håndtering av feiljustering i arbeidsstykkets plassering, en avgjørende faktor for å oppnå optimale sveiseresultater i virkelige applikasjoner.

Den utviklede metoden ble implementert, og eksperimenter ble gjennomført for å teste hvorvidt den fungerte. Ende-effektorens bane ble konsekvent beregnet i tråd med sveiseparametrene. Den valgte kantdetektoren demonstrerte overlegen nøyaktighet sammenlignet med tradisjonelle metoder, noe som bekrefter dens egnethet for metoden. Selv om det kreves ytterligere finjustering, viste template matching seg å være effektiv. Disse resultatene gir et solid grunnlag for videre utvikling og optimalisering av metoden.

De sentrale områdene denne oppgaven utforsket, ble vurdert som vellykkede. Metoden muliggjør rask utskifting av reflekterende aluminiumsarbeidsstykker med betydelige avvik i plasseringsnøyaktighet, samtidig som den fjerner behovet for menneskelig innspill, og reduserer databehandlingstid.

The field of robotic welding, vision-aided control, and automation strategies has grown significantly in recent years. This may be attributed to their inherent advantages, which include enhanced precision, rapid detection capabilities, and higher versatility. The use of automation is motivated by the pursuit of increased efficiency and the requirement for improved safety, especially in dangerous work environments marked by fumes, high temperatures, and pressures.

This thesis develops a method for generating a path with the assistance of a structured light camera, which encompasses a blend of software and hardware-based methodologies developed for automated robotic welding. The suggested methodology entails the application of computer vision enabled by the Zivid Two M70 industrial structured light camera for the calculation of crucial functions. The parameters involved in this process encompass extracting a weld seam path from the workpiece using Holistically-Nested Edge Detection, planning the weld seam path assisted by human input, generating a trajectory using MoveIt2, and performing template matching to compensate for offset in translation and rotation for subsequent workpiece placements in the robot cell.

Moreover, this thesis addresses several practical challenges in the implementation of a vision-assisted path planner. These challenges include visual calibration, developing algorithms for weld seam path subsampling and pose estimation, and managing the industrial robot manipulator (Yaskawa GP25-12). While all these factors are significant, the primary focus is on effectively handling the misalignment in the workpiece's location, a crucial aspect for achieving optimal welding results in real-world applications.

The developed method was implemented, and experiments were conducted to test its validity. The end effector path was computed consistently, adhering to the welding parameters. The chosen edge detector demonstrated superior accuracy compared to traditional ones, validating its suitability for the method. The template matching, while requiring further refinement, was proven to be effective. These results provide a solid foundation for the future development and optimization of the method.

The key areas this thesis set out to explore were deemed successful. It facilitates rapid replacement of reflective aluminum workpieces with significant deviations in placement accuracy while simultaneously removing the need for human input and reducing computational time.