NTNU Cyborg Robot Vision - Implementing VSLAM and object detection in ROS

Abstract

NTNU Cyborg prosjektet har som mål å ha en Kyborg vandre autonomt rundt i Glassgården ved NTNU, mens den har interaksjoner med studentene den møter. Et essensielt bidrag til dette er implementering av en robust robotsyn modul, som muliggjør utførelse av Visual Simultaneous Localisation and Mapping (VSLAM) og objekt detektering. Sistnevnte har blitt implementert i Robotic Operating System (ROS) før, men har ikke blitt utviklet ved bruk av en oppdatert Unified Robot Description Format (URDF) robot modell integrert i RViz. RViz er et populært 3D visualiseringsverktøy i ROS som blir brukt til utførelse av oppgaver og visualisering av data som kamera bilder, lasere, robot modeller og mer.

Denne rapporten har som mål å utvikle mer robust robotsyn ved å integrere et ZED stereo kamera med en oppdatert robot modell for utførelse av objekt deteksjon og VSLAM i RViz. 3D computer-aided design(CAD) modeller fra SolidWorks, lagd av tidligere studenter, ble eksportert som URDF filer og lagt til i den gamle robot modellen fra Adept MobileRobots. Den nye robot modellen ble brukt til å utføre VSLAM med RTAB-Map i ROS. I tillegg ble You Only Look Once (YOLO) objekt deteksjon implementert for å detektere studenter og publisere dybdemålinger. Disse målingene ble brukt som input til en navigasjonskontroller designet for å følge studenter. Et koordinat system ble lagd for å oppdatere posisjonen til den detekterte studenten i RVIZ kontinuerlig.

Den resulterende robot modellen ble vellykket og brukt gjennom hele rapporten. Posisjonen til den detekterte studenten ble publisert til RViz og sendt som navigasjonsmål til navigasjonskontrolleren. Kyborgen klarte å følge studenten på Kyborg kontoret og i et simulert miljø. Til slutt ble et 2D og 3D kart av Kyborg kontoret lagd ved bruk av VSLAM, med tilstrekkelig nøyaktighet.

The NTNU Cyborg project aims at having the Cyborg roam around Glassgården at NTNU Gløshaugen autonomously while interacting with the students it encounters. An essential contribution to this is the implementation of a robust and permanent robot vision module, enabling means of performing VSLAM and object detection. The latter has been implemented before in Robotic Operating System (ROS). However, it has not been developed using an updated Unified Robot Description Format (URDF) model and fully integrated with RViz. RViz is a popular 3D visualization tool in ROS used for task performance and displaying data such as camera images, lasers, robot models and more.

This report aims to create a more robust robot vision by integrating the ZED stereo camera with an updated robot model to perform object detection and VSLAM in RViz. 3D computer-aided design (CAD) models from SolidWorks, created by previous students, were exported as URDF files and added to the old robot model provided by Adept MobileRobots. The new robot model was used to perform VSLAM with Real-Time Appearance-Based Mapping (RTAB-Map) in ROS. Moreover, You Only Look Once (YOLO) object detection was implemented to detect students and publish depth measurements. The measurements were used as input to a navigation controller designed to follow students. A coordinate frame was created to track the position of a detected student in RViz continuously.

The new robot model was successfully created and used throughout the report. The position of the detected student was published to RViz and sent as navigation goals to the navigation controller. The Cyborg managed to follow the student inside the Cyborg office and in a simulated environment. Finally, VSLAM produced a 2D and 3D map of the Cyborg office with satisfactory accuracy.