Real-Time Vision-Aided Inertial Navigation for Vertical Take-Off and Landing of Unmanned Aerial Vehicles

Abstract

Denne oppgaven presenterer en analyse av Visual Inertial Odometry (VIO) som en tilstandsestimator for autonome fly med faste vinger under vertikal start og landing (VTOL). Et teoretisk grunnlag for VIO presenteres sammen med noen av dets egenskaper knyttet til fly applikasjoner. Senere gis en omfattende beskrivelse av et spesifikt rammeverk, kalt ROVIO. Dette rammeverket har blitt testet på et maskinvareoppsett for stereo VIO bygget for å samle inn data for oppgaven. Oppsettet presenteres i detalj sammen med kalibreringsmetoden som er brukt. Ved å bruke dette oppsettet er det utført forskjellige eksperimenter for å analysere hvordan systemets presisjon påvirkes av forskjellige parametere, bevegelser og konfigurasjoner. Disse eksperimentene er for det meste relatert til den lange avstanden til visuelle objekter i et typisk VTOL dataset. Analysen konkluderer ikke overraskende med at den initielle dybdeverdien gitt til systemet har en betydelig effekt på nøyaktigheten. Det blir også klart at initialisering av systembanen med tilstrekkelig bevegelse kan få objektsdybder til å konvergere raskere, noe som reduserer den totale feilen. Presisjonen er også undersøkt på tvers av forskjellige kamera avstander (grunnlinjer), og avslørte ingen klar korrelasjon. Dette skyldes sannsynligvis kalibreringsproblemer, noe som sannsynligvis er et resultat av hyppige remonteringer av kameraene. Til slutt blir en analyse av forskjellen mellom stereo og monokulære systemer gjennomført, som viser fordeler og ulemper ved begge konfigurasjonene. Det viktigste bidraget til oppgaven er en foreslått utvidelse av ROVIO, som bygger på antakelser om driftsmiljøet i et VTOL-scenario. Ved å anta et flatt landingsområde, har algoritmen blitt utvidet til å estimere posisjonen til dette flate området. Med dette anslaget kan visuelle objekter filtreres ut hvis de ligger tilstrekkelig langt unna. Andre objekter kan bli oppdatert i retning av bakkeestimatet, for å forbedre deres posisjonsnøyaktighet. Detaljer av utvidelsen presenteres i rapporten, sammen med lovende resultater av ytelsen. Selv om denne spesifikke utvidelsen er skreddersydd for ROVIO, bør det generelle konseptet være implementerbart for flere VIO-algoritmer.

This thesis presents an analysis of Visual Inertial Odometry (VIO) as a state estimation solution for autonomous fixed wing aircraft during vertical take-off and landing (VTOL). A theoretical foundation of VIO is presented together with some of its properties related to aerial applications. Later, an extensive description of a specific framework, called ROVIO, is given. This framework has been tested on a hardware setup for stereo VIO built for collecting data for the thesis. The setup is presented in detail together with the calibration approach used. Using this setup, different experiments have been conducted to analyze how the systems performance may be affected by different parameters, motions and configurations. These experiments are mostly related to the long distance to visual features in a typical VTOL scenario. The analysis can conclude, not surprisingly, that the initial depth value given to image features have a significant effect on the system accuracy. It also becomes clear that initializing the system trajectory with sufficient movement can make feature depths converge more quickly, reducing the overall error. Investigating the performance with different cam- era distances (baselines), revealed no clear correlation. This is likely due to quite apparent calibration issues, probably resulting from frequent camera remounts. Finally, an analysis of the difference between stereo and monocular systems is conducted, showing advantages and disadvantages of either configuration. The most important contribution of the thesis is a proposed extension to ROVIO, which builds on an assumption of the operating environment in a VTOL scenario. By assuming a flat landing area, the algorithm has been extended to estimate the position of this plane. With this estimate, features can be filtered out if they lie sufficiently far away. Other features can be updated in the direction of the ground estimate, to improve their position accuracy. Details of the extension is presented in the report, together with promising results of its performance. Although this specific extension is tailor-made for ROVIO, the general concept should be applicable for any VIO algorithm.