Validation of marine collision avoidance systems using Adaptive Stress Testing
Abstract
Maritime Autonome Overflate-Skip (MAOS) har potensiale til å bidra til en mer fleksibelurban mobilitetsløsning med reduserte utslipp av drivhusgasser. For å muliggjøre maritimautonomi må systemene gjennomgå grundig sikkerhetsvalidering. Fordi autonome systemerbestår av flere lag med komplekse systemer som utfører vurdering og beslutningstaking, erikke tradisjonelle metoder for sikkerhetsvalidering tilstrekkelig for å teste systemene. For åadressere dette problemet har nylig forskning etterlyst nye metoder for å utføre intelligentsimuleringsbasert sikkerhetsvalidering av MAOS.Det er foreslått flere metoder for å automatisk identifisere scenarier som er utfordrende for MAOSå navigere i, for å redusere antall nødvendige testscenarier og utføre tilstrekkelig fullstendigtesting. Forfatteren har imidlertid ikke funnet noen metoder for bruk i maritim autonomi,som tar for seg måten simuleringen av scenariet utvikler seg. Slike metoder har blitt brukt påautonome kjøretøy og flysystemer ved bruk av metoder som f.eks Adaptive Stress Testing AST.AST er en simuleringsbasert metode som bruker forsterkende læring til å utføre søk etter feil isimuleringer av systemet som testes. Feil blir funnet ved å injisere en sekvens av forstyrrelser oggradvis lære den mest effektive og sannsynlige måten å forstyrre systemet til å svikte. Dettearbeidet foreslår bruk av AST som et trinn i sikkerhetsvalideringsprosessen til MAOS. For ådemonstrere metoden brukes AST i tester av to forskjellige kollisjonsunngåelses-strategier isimuleringer av den autonome passassjerfergen milliAmpere.AST utgjør en svært fleksibel metode, da den kan justeres og tilpasses domenet og det spesifikkeformålet. Oppgaven foreslår flere slike tilpasninger for å forbedre metoderelevansen for detmaritime domenet. Resultatene viser potensialet til AST i sikkerhetsvalideringsprosessen tilMAOS, ved at mange interessante feil blir identifisert, hvilke avdekker potensielle aspekter vedde forskjellige kollisjonsunngåelse-systemene hvor det er forbedringspotensiale. Videre forskningbør utføres for å forbedre metoden og for å kombinere AST med scenario-genereringsmetoder. Maritime Autonomous Surface Ships (MASS) have the potential to contribute to a more flexibleurban mobility system with reduced emissions of greenhouse gasses. To enable marine autonomy,the systems have to be thoroughly assessed with regard to safety. Because autonomous systemsare comprised of several layers of complex systems which perform reasoning and decision making,traditional safety validation methods become insufficient to test the system. To address thisproblem, recent research has called for new methods to perform intelligent simulation basedsafety validation of MASS.Several methods have been proposed to automatically identify scenarios which are challengingfor MASS to navigate, to reduce the number of necessary test scenarios and perform sufficientlyexhaustive testing. However, the author has not found any methods for use in marine autonomy,which address the way the simulation of the scenario evolves. However, such methods have beenapplied to autonomous vehicles and aircraft systems by applying methods such as AdaptiveStress Testing (AST). AST is a simulation based method which uses reinforcement learningto perform searches for failures in simulations of the system under test. Failures are foundby injecting a sequence of disturbances and gradually learning the most efficient and likelyways to disturb the system into failure. This work proposes the use of AST as a step in thesafety validation process of MASS. To demonstrate the method, AST is applied to two differentCollision Avoidance (COLAV) strategies in simulations of the autonomous passenger ferrymilliAmpere.AST constitutes a highly flexible method, as it can be adjusted and adapted to the domain andthe specific purpose. Several such adaptations are proposed in the thesis, to relevance of themethod to the maritime domain. The results demonstrate the potential of AST in the safetyvalidation process of MASS, as many interesting failures are identified which uncover potentialaspects of the different COLAV systems which can be subject to improvement. Further researchshould be performed to improve the method and to combine AST with scenario generationmethods.