Adaptive Stress Testing of Situational Awareness for an Autonomous Passenger Ferry

Abstract

Maritime Autonomous Surface Ships (MASS) introduserer et nytt nivå av kompleksitet til marine kontrollsystemer. Zeabuz er et oppstartsselskap fra NTNU som jobber med MASS og som har som mål å utvikle autonome urbane passasjerferger som et alternativt transportmiddel. Utplassering og utvikling av slike ferger krever grundig testing, verifikasjon og validering for å argumentere for at autonomisystemet er trygt. Adaptiv stresstesting (AST) som foreslått i denne oppgaven er en metode som kan brukes på denne utfordringen. Metoden bruker forsterkende læring for å søke etter feilhendelser samtidig som sannsynligheten for feilen maksimeres. Tidligere har dette vist lovende resultater i bil- og romfartsindustrien. Masteroppgaven bidrar til økt sikkerhet og validering for autonome passasjerferger, slik at det kan hevdes at autonomisystemet er tilstrekkelig trygt. Oppgaven gjennomgår litteratur angående AST og andre eksisterende metoder for testing, verifikasjon og validering av autonome systemer, og sammenligner og kontrasterer metoden med eksisterende tilnærminger. Videre, gjennom et sett med casestudier, presenterer oppgaven en diskusjon om hvordan AST kan brukes for testing av situasjonsbevissthet. For å undersøke metodens potensiale for å finne sannsynlige feilhendelser i situasjonsforståelse, blir først et AST-system som bruker Monte Carlo Tree Search Method (MCTS)-metoden designet og implementert. For det andre er dette AST-systemet koblet til et passende testmiljø, bestående av et system som testes og en miljøsimulator. Systemet som testes er et situasjonsforståelsessystem. Dette systemet er en implementering av target tracking algoritmen probabilistic data association filter (PDAF) med M/N-utvidelsen for å spore eksistens. Miljøsimulatoren er en implementering av en multi-target-trakcing-simulator. Det komplette testsystemet, bestående av AST-implementeringen, systemet som testes og miljøsimulatoren, er utviklet av forfatteren. Innledende simuleringer utføres med testsystemet, og gir verifisering gjennom kvalitative analyser at AST er i stand til å finne vanlige feilhendelser i målsporing. Ytelsen til søket ved hjelp av MCTS valideres videre ved å kjøre et Monte Carlo-søk (MCS) parallelt. Resultatene gir at suksessraten til MCTS-algoritmen er betydelig høyere enn når du kjører et tilfeldig søk med MCS-algoritmen. I tillegg foreslås og testes en ny kontrollmetode som bruker seed actions for å kontrollere en enkelt prosess i simulatoren. I tidligere applikasjoner har seed actions blitt brukt til å kontrollere alll stokastiske prosesser i simulatoren gjennom den globale Random-Number-Generatoren. Den nye metoden skaper imidlertid en Random-Number-Generator utpekt for den stokastiske prosessen av interesse, noe som gjør det mulig å bruke åpen sløyfekontroll for å kontrollere prosessen uten å kreve tilgang til simulatortilstanden. Den foreslåtte metoden gir bedre resultater enn den vanlige globale åpen sløyfe kontrollmetoden i noen av tilfellene. For noen andre tilfeller fungerte imidlertid ikke metoden like bra som det globale kontrollalternativet. Det er derfor nødvendig med ytterligere forskning for å bestemme potensialet til den foreslåtte kontrollmetoden. Generelt gir AST-metoden lovende resultater for situasjonsforståelsesapplikasjonen. Det er imidlertid noen aspekter ved metoden som må vurderes ytterligere. Disse aspektene er hovedsakelig relatert til å evaluere metodens evne til å finne uforutsette feilhendelser og hvordan man kan designe generaliserte testmålinger for det formålet.

Maritime Autonomous Surface Ships (MASS) introduces a new level of complexity to maritime control systems. Zeabuz is a start-up company from NTNU working with MASS, aiming to deploy autonomous urban passenger ferries as an alternative mean of transport. Deployment and devel- opment of such ferries require thorough testing, verification and validation in order to argue that the autonomy system is safe. Adaptive Stress Testing (AST) as proposed in this thesis is a method that can be applied to this challenge. The method uses reinforcement learning to search for failure events while maximizing the likelihood of the failure. Previously this has shown promising results in the automotive and aerospace industry.

The master thesis contributes to improved safety and validation for autonomous passenger fer- ries, such that it can be argued that the autonomy system is suciently safe. The thesis reviews literature regarding AST and other existing methods for testing, verification and validation of autonomous systems, comparing and contrasting the method with existing approaches. Further- more, through a set of case studies the thesis presents a discussion on how AST can be deployed for testing of the situational awareness. In order to investigate the method’s potential for finding likely failure events in situational awareness, firstly an AST system using the Monte Carlo Tree Search Method (MCTS) method is designed and implemented. Secondly, this AST system is con- nected to an appropriate test environment, consisting of a system under test and an environment simulator. The system under test is a situational awareness system. This system is furthermore an implementation of the probabilistic data association filter (PDAF) target tracking algorithm with the M/N extension for track existence. The environment simulator is an implementation of a multi-target tracking simulator. The complete test system, consisting of the AST implementation, the system under test and the environment simulator, is developed by the author. Initial simula- tions are performed with the test system, providing verification through qualitative analyses that AST is able to find common failure events in target tracking. The performance of the search using MCTS is further validated by running a Monte Carlo Search (MCS) in parallel. The results yield that the success rate of the MCTS algorithm is significantly higher than when running a random search using the MCS algorithm. In addition, a new control method using seed actions to control a single process of the simulator is proposed and tested. In previous applications seed actions have been used to control all the stochastic process in the simulator through the global random num- ber generator. However, the new method creates a random number generator designated for the stochastic process of interest, making it possible to use open loop control to control the sampling of the process without requiring access to the simulator state. The proposed method performs better than the regular open loop global control method in some of the cases. However, for some other cases the method did not perform as well as the global control option. Hence, further research is required to determine the potential of the proposed control method. Generally, the AST method yields promising results for the situational awareness application. However, there are some aspects of the method that have to be further evaluated. These aspects are mainly related to evaluating the method’s ability to find unforeseen failure events and how to design generalized test metrics for that purpose.