Reducing the Sim-To-Real Gap in Reinforcement Learning for Robotic Grasping with Depth Observations

Abstract

Griping med roboter er en barriere for mange robotmanipulasjonsoppgaver. Generalisert autonom griping er fortsatt et uløst problem, men bruk av forsterkende læring har vist lovende resultater. Det er flere utfordringer knyttet til bruk av forsterkende læring for griping med roboter, men et av de mest bemerkelsesverdige problemene er data ineffektivitet. Å bruke simulerte miljøer for å øke mengden data som er tilgjengelig i trening er en mulig løsning. Tidligere arbeider \cite{sim_to_real, rcan} viser at direkte overføring av en algoritme fra simulering til virkeligheten medfører et stort ytelsestap. Dette kalles sim-to-real gapet og er hovedsakelig forårsaket av simulatorer sin manglende evne til å lage eksakte modeler av virkelighetens fysikk og visuelle elementer.

De fleste algoritmer for griping bruker bilder som observasjoner. Intuisjonen er at simulerte og ekte bilder er for forskjellige, noe som forårsaker et stort ytelsestap når algoritmen bare er vant til å se simulerte bilder. I denne oppgaven gjennomfører vi eksperimenter for å undersøke hvordan trening med dybdeinformasjon påvirker sim-to-real gapet. Eksperimentene viser at bruk av dybdeinformasjon i tillegg til RGB-bilder reduserer gapet mellom simulator og virkeligheten med $21,8\%$ sammenlignet med å bare bruke RGB-bilder. For å gjennomføre disse eksperimentene laget vi også et moderne simuleringsrammeverk bestående av velkjente forsterkende læring og robotikk rammeverk. Dette simuleringsrammeverket og simulerings-miljøene som ble laget, er også gjenskapt med et virkelig fysisk robotoppsett med det avanserte 3D-kameraet Zivid Two.

Robotic grasping serves as a barrier for many robotic manipulation tasks. Generalized autonomous grasping remains an unsolved challenge, but reinforcement learning has shown promising results within robotic grasping. There are several challenges related to using reinforcement learning for robotic grasping, but sample inefficiency is one of the most notable. Utilizing simulated environments to increase the amount of data available in training is a proposed solution. Previous works \cite{sim_to_real, rcan} show that directly transferring an algorithm from simulation to a real-world setting causes a large loss in performance. This is called the sim-to-real gap and is mainly caused by the inability of simulators to create exact replicas of real-world physics and visuals.

Most grasping algorithms are trained utilizing images. The intuition is that simulated and real images are too different, causing a significant performance loss when the unfamiliar real images are utilized. In this thesis, we conduct experiments to examine how training with depth information affects the sim-to-real gap. The experiments show that using depth information in addition to RGB images reduces the sim-to-real gap by $21.8\%$ compared to using only RGB images. To conduct these experiments, we have created a modern simulation framework consisting of well-known reinforcement learning and robotics frameworks. This framework and the environments created are also replicated with a real-world robotic setup for grasping with the high-performing 3D camera, Zivid Two.