Navigation Policy for a Tiny Drone using Deep Reinforcement Learning

Abstract

Denne masteroppgaven presenterer en dyp forsterkningslæring basert navigasjonsalgoritme for små droner som åpner opp for fullstendig autonom utforskning i trange omgivelser med ulike hindringer, ved kun bruk av Time-of-Flight (ToF) kameraer med ekstremt lav oppløsning for eksteroseptive målinger. Lette droner er ideelle for rask utforskning i trange omgivelser på grunn av deres smidighet og lille størrelse. Størrelsen setter imidlertid store begrensninger på nyttelast og dermed både valg av sensorer og datakraft. Nylige fremskritt innen både kantenhet inferens og rimelige dybdesensorer åpner opp for nye muligheter for egenskapene til småskala droner. Vårt simulerte mikroluftfartøy (MAV) bruker en forenklet modell av VL53L5CX ToF-sensoren, og gir et 8x8 dybdebilde ved 15 Hz med opptil 4 meters rekkevidde. Den lukkede sløyfe ende-til-ende dyp forsterkningslæring visuelle navigasjonsalgoritmen er trent ved hjelp av Aerial Gym, som tillater for rask trening, randomisering av miljø, og ulike type sensorer. Deretter blir navigasjonsalgoritmen utplassert på en liten drone med begrenset datakraft i den virkelig verden ved å bruke teknikker for simulering til virkelighet (sim2real) overføring. Sim2real-gapet løses ved å variere miljøet i stor grad, bruke et stort utvalg av hindringer og endre parameterne for dronene og støyverdier, noe som gjør algoritmen mer robust og generaliserbar. For dette formål bidrar vi med en lettvekts og konkurransedyktig dyp forstekningslæring basert navigasjonsalgoritme for småskaladroner, som er bevist til å håndtere rotete og trange miljøer i utstrakt grad i simulering, og som viser til mulige fremtidige brukstilfeller av lette droner og legger et grunnlag for fremtidig arbeid med å overføre algoritmen til den virkelige verden ved å bruke sim2real-teknikker.

This thesis presents a deep reinforcement learning (deep-RL) based navigation policy for small-scale quadcopters allowing for fully autonomous exploration in confined and cluttered environments, using only extremely low-resolution Time-of-Flight (ToF) sensors for exteroceptive sensing. Lightweight drones are ideal for swift exploration in confined settings due to their agility and small size. However, the small size puts severe constraints on payload and thus both on the choice of sensors and computing power. Recent advances in both edge device inference and low-cost depth sensors open new possibilities for the capabilities of these small-scale drones. Our simulated Micro aerial vehicle (MAV) uses a simplified model of the VL53L5CX ToF-sensor, yielding an 8x8 depth image at 15 Hz with up to 4 meters range for sensing. The closed-loop end-to-end deep-RL visual navigation policy is trained using Aerial Gym, allowing for fast training times, domain randomization, and various sensors. Subsequently, the navigation policy is deployed on a tiny drone with onboard constrained resources in the real world utilizing sim2real techniques. The sim2real gap is addressed by extensively varying the environments, utilizing a large assortment of obstacles, and altering drone parameters and noise values, effectively making the policy more robust and generalized. To this end, we contribute a lightweight and competitive deep-RL-based navigation policy for small-scale drones, which is proven to tackle cluttered and confined environments extensively in simulation, showcasing potential future use cases of lightweight drones and laying the groundwork for future work on transferring this learned policy to the real world using sim2real techniques.