Learning to grasp: A study of learning-based methods for robotic grasping

Abstract

Roboter i dag brukes først og fremst til oppgaver som er repetitive og forutsigbare. Men mange oppgaver som skaper verdi for samfunnet vårt inkluderer høy grad av tilfeldighet, for eksempel å plukke opp gjenstander. På grunn av det enorme mangfoldet av forskjellige objekter, er roboter tradisjonelt begrenset til å plukke i miljøer der objektets geometri er kjent og ingen forstyrrelser oppstår.

Tatt i betraktning det generelle problemet med manipulasjonsoppgaver i den virkelige verden, ser modellfri reinforcement learning ut som svært passende familie av algoritmer, siden de ikke gjør noen antagelser om systemets dynamikk. I stedet finner de sekvensen av handlinger nødvendig for å løse oppgaven gjennom erfaring. Denne oppgaven vil studere disse metodene, med fokus på deres anvendelse på griping av objekter med roboter, samt evaluere deres ytelse og begrensninger når de plukker objekter som ikke er sett tidligere. En serie eksperimenter utføres i et simulert miljø, der de to populære modellfrie reinforcement learning-algoritmene Soft Actor-Critic og Proximal Policy Optimization får i oppgave å plukke opp en kube med en mekanisk manipulator.

Det er vist at modellfrie reinforcement learning-algoritmer gir et rammeverk som kan brukes på ulike manipulasjonsproblemer. Resultatene viser at slike algoritmer kan løse plukkeoppgaven i simulatoren uten oppgavespesifikk tilpasning. Oppgaven belyser også betydelige utfordringer som hindrer algoritmene i å løse generelle manipulasjonsproblemer i praksis, viktigst av alt behovet for store datamengder. Til slutt identifiseres og presenteres mulige løsninger på de identifiserte utfordringene.

Robots today are primarily used for tasks that are repetitive and predictable. However, many tasks that create value for our society include a high degree of randomness, for example, picking up objects. Because of the immense diversity of different objects, robots are traditionally restricted to picking in scenarios where the object's geometry is known and no disturbances occur.

Considering the general problem of real-world manipulation tasks, model-free reinforcement learning appears to provide a suitable family of algorithms, as they make no assumptions about of dynamics of the system. Instead, they find the action necessary to solve the task through experience. This thesis will study these methods, focusing on their application to robotic grasping, evaluating their performance and limitations when picking previously unseen objects. A series of experiments are performed in a simulated environment, where two popular model-free reinforcement learning algorithms, Soft Actor-Critic and Proximal Policy Optimization are tasked with picking up a cube with a robotic manipulator.

It is shown that model-free reinforcement learning algorithms provide a framework that can be applied to various manipulation problems. The results show that such algorithms can solve the picking task in the simulator without task-specific refinement. The thesis also highlights significant challenges that hinder the algorithms from solving general manipulation problems in practice, most importantly the need for large quantities of data. Finally, potential solutions to the identified challenges are identified and presented.