Adaptive Stress Testing for Safety Validation of Maritime Autonomous Collision Avoidance Systems

Abstract

Forskningen innen maritime autonome fartøy har økt i løpet av det siste tiåret. I sammenheng med dette, utvikler et selskap kalt Zeabuz et autonomt fergesystem og ønsker å utføre "state-of-the-art" sikkerhetsvalidering av systemet deres. Slike autonome fartøy opererer i komplekse stokastiske miljøer. Som en konsekvens av denne kompleksiteten kan ikke feil elimineres helt. Dessuten kan testing i den virkelige verden være for farlig å utføre under utvikling, og bruk av formell verifisering (engelsk: formal verification) er ofte utelukket. Simuleringsbaserte teknikker som tyr til statistikk kan være løsningen for å omgå dette problemet. Arbeid utført på antikollisjonssystemer (engelsk: collision avoidance systems) av luftfartøy og autonome kjøretøy viser vellykket sikkerhetsvalidering ved å bruke et rammeverk for stresstesting kalt adaptiv stresstesting (engelsk: Adaptive Stress Testing / AST). Rammeverket er basert på teknikker med forsterkende læring (engelsk: Reinforcement Learning / RL) og finner adaptivt den mest sannsynlige veien til en feil for systemet under test i et simulert miljø.

Denne oppgaven foreslår en arkitektur kalt maritim adaptiv stresstesting (engelsk: Maritime Adaptive Stress Testing / MAST), som utvider den eksisterende AST-arkitekturen for å kunne teste et antikollisjonssystem i det maritime domenet, kalt SP-VP (engelsk: Single Path Velocity Planner / SP-VP) brukt av Zeabuz sine autonome passasjerferger. To varianter av arkitekturen er foreslått, Gray-Box maritim adaptiv stresstesting (engelsk: Gray-Box Maritime Adaptive Stress Testing / G-MAST}) og Black-Box maritim adaptiv stresstesting (engelsk: Black-Box Maritime Adaptive Stress Testing / B-MAST), som brukes for Gray-Box og Black-Box-simulatorer, henholdsvis. Ytelsen til disse to arkitekturene er funnet å være lik i dette arbeidet. Derimot, kan testing med en Gray-Box-simulator med G-MAST kreve mer domenekunnskap om systemet enn å teste med en Black-Box-simulator med B-MAST.

MAST fant flere interessante feil iSP-VP-systemet, som kan være nyttige for sikkerhetsvalideringen av antikollisjonssystemet. Det er diskutabelt hvor realistiske feilene er i virkelige omgivelser på grunn av den irrasjonelle oppførselen til de andre fartøyene, som oppfører seg som hindringer i denne oppgaven. MAST-arkitekturen kan imidlertid konfigureres til å teste andre scenarier, som potensielt finner mer realistiske feil.

The research in the field of autonomous marine vessels has increased during the last decade. In context with this, a company called Zeabuz is developing an autonomous ferry system and is seeking to perform state-of-the-art safety validation of their system. Such autonomous vessels operate in complex stochastic environments. As a consequence of this complexity, failure cannot be eliminated entirely. Moreover, real-world testing can be too dangerous to perform during development, and the use of formal verification is often precluded. Simulation-based techniques resorting to statistical considerations can be the solution to work around this issue. Moreover, work done with airborne collision avoidance systems and autonomous vehicles shows successful safety validation by applying a stress testing framework called Adaptive Stress Testing (AST). The framework is based on Reinforcement Learning (RL) techniques and adaptively finds the most likely path to a failure event for the system under test in a simulated environment.

This thesis proposes an architecture called Maritime Adaptive Stress Testing (MAST), which extends the existing AST architecture to be able to test a collision avoidance system in the maritime domain, particularly the Single Path Velocity Planner (SP-VP) used by Zeabuz's passenger ferries. Two variants of the architecture are proposed, namely the Gray-Box Maritime Adaptive Stress Testing (G-MAST) and the Black-Box Maritime Adaptive Stress Testing (B-MAST), which are used for Gray-Box and Black-Box simulators, respectively. The performance of these two architectures is found to be similar in this work. However, testing with a Gray-Box simulator with G-MAST may require more domain knowledge of the system than testing with a Black-Box simulator with B-MAST.

Furthermore, MAST found several interesting failure events in the SP-VP system, which might be useful for the safety validation of the collision avoidance system. It is, however, debatable how realistic the failure events are in a real-world setting due to the irrational behavior of the other vessels, referred to as obstacle vessels in this thesis. However, the MAST architecture can be configured to test other scenarios, which can potentially find more realistic failure events.