Reinforcement learning for robotic soft-body interaction

Abstract

Innen klinisk medisin ansees det som utfordrende å benytte autonome robotsystemer. Håndtering av bevegelige objekter og myke materialer, samt variasjon mellom pasienter, har vist seg å være en hindring for robotassisterte inngrep. Forskning innen reinforcement learning har lagt til rette for utformingen av nye robotkontrollere, noe som gjør det mulig for robotmanipulatorer å lære av erfaring. Datatilgangen er begrenset, men realistiske simulatorer har vist seg som en mulig kilde for nødvendig opplæringsmateriell og erfaring slik at robotmanipulatorer kan tilpasse seg virkelige scenario. Å benytte sofistikerte robotsystemer kan gi en betydelig fordel innen klinisk medisin og muligens bidra til å redusere den økende arbeidsmengden i helsesektoren.

I denne masteroppgaven ble et simuleringsrammeverk brukt for å undersøke hvordan deep reinforcement learning kan brukes som robotkontroll for myke kroppsinteraksjonsoppgaver. Tre forskjellige modeller ble trent for å fullføre interaksjonsoppgaven. Referansemodellen gir en ønsket kraft og dreiemoment, og ble brukt for å kvantifisere prøvetakingseffektiviteten og ytelsesøkningen ved å bruke en passende lavnivåkontroller. De to andre modellene ble brukt til å undersøke hvordan variabel impedanskontroll ville håndtere interaksjonsoppgaven, der manipulatoren må kunne dynamisk kompensere for kroppens bevegelse og deformasjon. Handlingsområdet til modellene besto av justerbare forsterkningsgrader, noe som gjorde det mulig å variere impedansen under utførelsen av oppgaven. Handlingsområdet til en modell ble utvidet med en tilleggsparameter som tillot direkte kontroll av bevegelsen i z-retningen. Iløpet av testepisoden viste referansemodellen lovende resultater før den ga ustabil oppførsel. De variable impedansmodellene fulgte ønsket positur og hastighet på en tilfredsstillende måte. Generelt slet modellene med å utøve ønsket kontaktkraft, hvor den påførte kraften var svært støyete. Forslag for å overkomme denne begrensningen ble presentert.

Å kombinere reinforcement learning med impedanskontroll ser lovende ut for å løse komplekse interaksjonsoppgaver med høy usikkerhet. Imidlertid er det behov for mye arbeid og videreutvikling for å utnytte potensialet fullt ut og overføre teknologien til kliniske applikasjoner.

It is deemed challenging to integrate robotic systems into medical procedures due to the complex scene involved. The variations between patients, combined with the handling of moving objects and soft materials, has proven to be an obstacle for robot-assisted procedures. Research within reinforcement learning has facilitated the design of new robot controllers, making it possible for robot manipulators to learn from experience. Data is limited, but realistic simulators have shown to be a viable source for acquiring the necessary training material and experience for robot manipulators to adapt to a real-life scenario. Employing sophisticated robotic systems could significantly benefit medical procedures and possibly help reduce the increasing workload in the health sector.

In this thesis, a simulation framework was used to investigate how deep reinforcement learning can be used as robot control for soft body interaction tasks. Three different models were trained to complete an interaction task of sweeping a probe across the surface of a soft body, while exerting a desired contact force and keeping a desired velocity. The baseline model outputs a desired wrench and was used as a reference to quantify the sampling efficiency and performance increase of using an appropriate low-level controller. The two other models were used to examine how a variable impedance control law would perform at the interaction task, where the manipulator has to compensate for the motion and deformation of the body dynamically. The action space of the models consisted of proportional gains, making it possible to vary the impedance along the execution of the task. The action space of one model was extended with an additional parameter, allowing control of the end-effector movement in the z-direction directly. In the test episode, the baseline model showed promising results before yielding unstable behavior. The variable impedance models tracked the pose and velocity in a satisfactorily manner. However, the models struggled to track the desired force, especially where frequent spike noise characterized the applied force in the simulator measurements. Suggestions on how to overcome this limitation is presented.

Combining reinforcement learning with impedance control looks promising for solving complex interaction tasks with high uncertainty. However, a vast amount of work and further development are needed to fully exploit the potential and transfer the technology into clinical applications.