Real-World Robot Learning Framework for Compliant Manipulation

Abstract

Denne masteroppgaven utforsker utviklingen av et læringsrammeverk for fysiske roboter med mål om å utføre fleksibel robotmanipulasjon. Fleksibel manipulasjon kreves i situasjoner hvor roboten interagerer med omgivelsene, og kan forbedre sikkerhet, fingerferdighet, fleksibilitet og energieffektivitet. Variabel impedanskontroll (VIC) har dukket opp som en lovende fremgangsmåte for dette formålet, hvor det dynamiske forholdet mellom roboten og omgivelsene styres hvert tidssteg.

I senere år, har stabilitetsanalysen av VIC utviklet seg, noe som muligjør teoretiske stabilitetsgarantier av slike systemer. Videre har forskningen fokusert på å lære hvordan man varierer impedansene, da dette er en utfordrende, men nødvendig oppgave for å utnytte fleksibiliteten som VIC tilbyr fullt ut. For å takle dette problemet har læringsmetoder som imitasjonslæring, læring fra demonstrasjoner (LfD) eller forsterkende læring (RL) blitt undersøkt av forskningsmiljøet.

Imidlertid har disse metodene hovedsakelig blitt brukt på simulerte systemer. Virkelige robotsystemer har ekstra utfordringer knyttet til kommunikasjon, sanntidsbegrensninger, maskinvare og målefeil, som alle bidrar til forhold som er vanskelige å etterligne i simulatorer. For å anvende læringsmetodene på virkelige roboter, trengs et pålitelig og raskt læringsrammeverk for fysiske roboter. Forskningen som er gjennomført i denne masteroppgaven, har som mål å legge til rette for bruk av et variabel impedans læringskontroll (VILC) rammeverk for virkelige roboter med det overordnede formålet å lære samsvarende robotmanipulasjonsoppgaver.

Sammen med fordypningsprosjektet demonstrerer denne oppgaven et rammeverk for virkelige roboter som er i stand til læring og kontroll av roboten. En ny læringsstrategi som involverer kinestetisk læring og imitasjonslæring, er foreslått for å lære impedansprofiler som kan mates til en variabel impedanskontroller. Læringsalgoritmen innebærer tre steg: opptak av en ønsket endeeffektorbane ved hjelp av kinestetisk læring, utførelse av den registrerte banen ved bruk av impedanskontroll, og oppsett av et overvåket læringsproblem (eng. supervised learning problem) ved hjelp av et nevralt nettverk for å estimere de observerte impedansene fra utførelsesdataene. Ved å dra nytte av data fra virkelige roboter samlet under eksperimenter, forbedrer rammeverket læring for samhandlende robotstyring. Eksperimentene utføres på en Franka Emika Panda-robot, en allsidig manipulator med sju frihetsgrader. Disse eksperimentene, som er utført ved hjelp av robotlæringsrammeverket, viser dets verdi i monteringsoppgaver og dets potensiale for praktisk anvendelse i samhandlende manipulasjonsscenarioer. Ved å bidra til utviklingen av læringsrammeverk for virkelige roboter, beriker denne forskningen det eksisterende kunnskapsgrunnlaget innen feltet robotkontroll. De foreslåtte metodene og eksperimentelle funnene gir verdifull innsikt og potensielle fremskritt for fremtidig forskning innen robotmanipulasjon og læring.

This master's thesis explores the development of a real-world robot learning framework aimed at executing compliant robotic manipulation. Compliant manipulation is required in situations where the robot interacts with the environment and can improve safety, dexterity, flexibility, and energy efficiency. Variable impedance control (VIC) has emerged as a promising approach for this purpose, where the dynamic relationship between the robot and the environment is controlled at every time step.

In recent years, the stability analysis of VIC has advanced, enabling theoretical stability guarantees of such systems. Research has focused on learning how to vary the impedances, as this is a challenging but necessary task to fully utilise the flexibility that VIC offers. To address this problem, learning approaches like imitation learning, learning from demonstrations (LfD), or reinforcement learning (RL) have all been investigated by the research community. However, these approaches have primarily been utilised on simulated systems. Real-world robot systems have additional challenges related to communication, real-time constraints, hardware, and measurement noise; all contributing to conditions that are hard to resemble in simulators. To utilise learning approaches on real-world robots, a reliable and fast robot learning control framework is needed. Furthermore, the research conducted in this master's thesis aims to facilitate the use of a real-world robot variable impedance learning control (VILC) framework for the purpose of learning compliant robotic manipulation tasks.

Together with the specialisation project, this thesis demonstrates a real-world robot framework capable of learning and controlling the robot. A novel learning strategy involving kinaesthetic teaching and imitation learning is proposed to learn impedance profiles that can be fed to a variable impedance controller. The learning algorithm involves three steps: recording a desired end effector pose trajectory through kinaesthetic teaching, executing the recorded trajectory using impedance control, and setting up a supervised learning problem using a neural network to estimate the observed impedances from the execution data. By leveraging real-world robot data collected during experiments, the framework enhances learning for compliant robotic manipulation. The experiments are performed on the Franka Emika Panda robot, a versatile manipulator with seven degrees of freedom (DoF). These experiments using the robot learning framework demonstrate its value in assembly tasks, showcasing its potential for practical application in compliant manipulation scenarios. By contributing to the advancement of real-world robot learning frameworks, this research enriches the existing body of knowledge in the field of robotic control. The proposed methods and experimental findings provide valuable insights and potential advancements for future research in the area of robotic manipulation and learning.