Combining Reinforcement Learning and Robotic Vision for Human-Machine Cooperation

Abstract

Maskiner har påvirket livene våre i årtusener, helt siden romerne først konstruerte vannturbiner for å drive mekaniske enheter brukt i produksjon av mel i industriell skala. Fremskritt innen vitenskap og teknologi bringer stadig nye apparater inn i samfunnet vårt med løfter om å frigjøre mennesker fra kjedelige, repeterende og farlige jobber. Med den kombinerte økningen i beregningskraft og forskning innen kunstig intelligens, har muligheten for å automatisere enda mer avanserte og dynamiske jobber dukket opp. Tesla og andre bilprodusenter utvikler selvkjørende biler. Samtidig pågår et globalt kappløp mellom selskaper og myndigheter for å skape de første autonome skipene. Disse fremskrittene kommer imidlertid ikke uten problemer. Det er ofte vanskelig for mennesker å forstå «tankeprosessen» til kunstig intelligens, som fører til et problem innen tillit og ansvar. Denne oppgaven fokuserer på å løse disse problemene gjennom aktivt samarbeid mellom kunstig intelligens og mennesker. Løsningen som presenteres inkluderer et håndsporingsdrevet menneske-maskin grensesnitt, strukturert som en endelig tilstandsmaskin, som en operatør bruker til å samarbeide med en forsterkningslæringsagent. Systemet er testet i en samarbeidsutfordring, der en robotisk manipulator brukes til å trekke en spak i en spesifikk vinkelposisjon mens vinkelen estimeres visuelt. Ved å legge hele ansvaret til den menneskelige tilsynsmannen som spiller en aktiv rolle i loopen, unngår man å designe et skuddsikkert system som også omhandler risikovurdering.

Machines have affected our lives for millennia, arguably since the Romans first constructed water turbines for powering mechanical devices used in the production of flour on industrial scales. Advancements in science and technology keep bringing new appliances into our society with promises to alleviate humans from tedious, repetitive, and dangerous jobs. With the combined increase in computational power and research within artificial intelligence, the possibility of automating even more advanced and dynamic jobs have emerged. Tesla and other car manufacturers are developing self-driving cars. Simultaneously, a global race is ongoing between companies and governments to create the first autonomous ships. These advances do not come without problems, however. It is often difficult for humans to understand the “thought process” of artificial intelligence, which leads to a problem of trust and responsibility. This thesis focuses on solving these problems through active cooperation between artificial intelligence and humans. The solution presented includes a hand-tracking powered Human-Machine Interface, structured as a finite state machine, which an operator uses to collaborate with a reinforcement learning agent. The system is tested in a cooperation challenge, where a robotic manipulator is used to pull a lever in a specific angular position while relying on visually estimated angle values. By assigning full responsibility to the human overseer who plays an active role in the loop, one avoids designing a bulletproof system that also deals with risk assessment.