Enabling visual SLAM on low-cost hardware for drone control

Abstract

Denne studien har som formål å utvikle et kostnadseffektivt dronesystem som benytter lett tilgjengelig maskinvare og åpen kildekode-programvare for å forbedre funksjonaliteten til en kommersielt tilgjengelig drone. Spesifikt, benytter prosjektet Ryze Tello-dronen, som er en populær programmerbar drone grunnet dens kostnadseffektivitet og brukervennlighet. Hovedmålet er å utvide dronens funksjonalitet ved å: integrere den med Robot Operating System 2 (ROS2), koble til en ESP32-CAM mikrokontroller modul for å forbedre datainnsamling, og utføre regnetunge oppgaver relatert til kontroll- og lokaliseringsalgoritmer, spesielt visuelle Simultaneous Localization and Mapping (SLAM) algoritmer, til en ekstern datamaskin. Videre presenterer studien bruk av et Augmented Reality University of Cordoba (ArUco) brett som en løsning for å håndtere problemet med skala-tvetydighet i monokulære Simultaneous Localization and Mapping (SLAM) systemer, samt å implementere et reguleringssystem for å styre dronen til et referansepunkt ved å bruke SLAM-systemet som tilbakekobling. Gjennom utviklingsprosessen ble utfordringer som størrelse, vekt, tilgjengelig datakraftog WiFi-pålitelighet for sanntidsdataavlasting adressert. Til tross for begrensninger, som upålitelig bildeoverføring over WiFi ved bruk av micro-ROS, demonstrerer prosjektet anvendelsen av disse teoriene i praksis. Det utviklede systemet, med sitt integrerte kontrollsystem og Oriented FAST and Rotated BRIEF-Simultaneous Localization and Mapping version 3 (ORBSLAM3)-algoritme, fungerer som et proof of concept.

This thesis comprises the development of a cost-effective drone system that leverages available hardware and open-source software to enhance functionality of commercially available drones. Specifically, the study uses the Ryze Tello drone, which is a popular programmable drone for a variety of projects, due to its cost-effectiveness and ease of use. The main aim is to extend the drone’s capabilities by applying the following: integrating it with Robot Operating System 2(ROS2), attaching an ESP32-CAM module for better data acquisition, and offloading compute-heavy tasks related to control and localization algorithms, especially visual Simultaneous Localization and Mapping (SLAM) systems, to a remote computer. Further, the study explores a solution using an Augmented Reality University of Cordoba (ArUco) board to resolve the scale ambiguity problem in monocular SLAM systems, as well as implementing a controller for steering the drone to a reference point using the SLAM system as feedback. Through out the development process, challenges such as size, weight, onboard computational power, and WiFi reliability for real-time data offloading were addressed. Despite some limitations, including unreliable image transport over WiFi using micro-ROS, the project successfully demonstrates the application of these theories in practice. The developed system, with its integrated control system and ORBSLAM3 algorithm, functions as a proof of concept.