Modular Client Framework for Evaluation of Visual Navigation Systems in Unreal Engine

Abstract

I de senere åra har spillmotorer, som Unreal Engine, blitt brukt mer og mer grunnet deres evne til å gengi realistiske miljøer, og dermed kunne generere syntetiske dataset for bruk i visuell navigering. Å koble sammen disse forskjellige simuleringprogrammene med vari- erende maskinvare kan derimot være problematisk. Dette har ledet til mye nyutvikling av forskjellige typer mellomvare, som definerer standarder for kommikasjon mellom en- heter. Selv om de fleste av disse er fleksible når det gjelder integrerbarhet, kan denne fleksibiliteten i mange tilfeller forårsake unødvendig treghet i systemet. Denne masteroppgaven presenterer en tidlig utgave av en klient-programvare, som er rettet mot å kunne sette opp lett utskiftbare, nodebaserte, simuleringsoppsett i C++, sammen med brukerdefinerte meldinger for kommunikasjon mellom noder, samtidig som den holder seg så platformuavhengig som mulig. Klienten skiller seg ut fra annen mellom- vare ved at hele simuleringsoppsettet er bestemt før kompilering. Dette åpner for ekstra optimaliseringer og fjerner behovet for nettverkskommunikasjon mellom nodene. Dette gjør det mulig å optimalisere bort forsinkelser og øke ytelsen. Klienten blir presentert med et konkret bruksområde, ved å koble den sammen med Microsoft sin simuleringsplatform, AirSim, for spillmotoren Unreal Engine, og generere simuleringdata for ROS-kompatible oppsett for visuell navigering.

In the later years game engines, such as Unreal Engine, have been more and more utilized for their ability to render realistic environments, and thereby generate synthetic datasets to use in visual navigation. However, connecting these to various simulation software and hardware setups can be challenging. The problem of connecting different devices has led to the development of many types of middleware, defining standard terms of communication. While most of these are quite flexible in terms of integrability, this flexibility can, in many cases, induce unnecessary overhead and latency. This master thesis will present the early development of a type of client software aimed towards the creation of easily interchangeable node based simulation setups in C++, with user-defined messages for inter-node communication while being as platform-independent as possible. The client differs from most other middleware in the sense that the node setup is decided at compile-time, allowing for extra optimizations and removing the need to connect the nodes via a network connection. This decision enables optimization for performance and latency. The client is presented with a real-world use case, connecting the simulation environment found in Microsoft’s AirSim plugin for the Unreal Engine game engine, with ROS, in order to create simulation data for ROS-compatible visual navigation setups.