Simulation-based Validation of a Situational Awareness Simulator

Abstract

En robust situasjonsforståelsesalgoritme er en essensiell komponent i et autonomt fartøy, som er både dyrt og tidskrevende å test og validere ved bruk av kun feltdata. I selvkjørende bilindustrien har det blitt vanlig å bruke simulatorer bygd på spillmotorer for å generere sensordata, som tillater lukket-krets simuleringer av hele autonomisystemet. Et tilsvarende 'end-to-end' simulator for autonome fartøy utvikles av Zeabuz, hvor sensorsimuleringer gjennomføres av et Unity-basert verktøy ved navn Gemini. Den høye grafiske prosessorkraften krevd av Gemini begrenser oppskaleringen av tester, som motiverer forslaget om å anvende en enklere, raskere, lavpresisjonssimulator som erstatter Gemini som sensorsimuleringskomponent. Ytelsen av denne simulator blir validert i forhold til høypresisjonssimulatoren Gemini ved hjelp av et dedikert softwareverktøy utviklet for sammenligningen av simulatorytelse, som kvantifiserer forskjellene mellom simulatorene. Dette tillater at lavpresisjonssimulatoren kan erstatte Gemini, med en gitt tillatt feilmargin, og akselerere testingen av fartøyets autonomisystem.

Robust situational awareness is an essential component in an autonomous vessel, which is both expensive and time consuming to test and validate using field data alone. As has become commonplace in the self-driving car industry, game-engine based simulators are used to generate data for entire sensor suites, allowing for closed-loop simulations of the entire autonomy stack. A similar end-to-end simulator for autonomous vessels is being developed at Zeabuz, where the sensor simulation is conducted in the Unity-based tool Gemini. The high graphical processing power Gemini demands limits the rate at which testing can be scaled up, which motivates the proposal of using a simpler, faster, low-fidelity simulator replacing Gemini as the sensor simulation component. The performance of this simulator is validated with respect to the high-fidelity Gemini simulator using a dedicated software tool developed for comparing simulator benchmarks, which quantifies the differences between the simulators. This allows the low-fidelity simulator to be used as a replacement component, assuming an allowable margin of error, greatly accelerating test coverage of the autonomous vessel's autonomy stack.