Validation of marine collision avoidance systems using Adaptive Stress Testing

Abstract

Maritime Autonome Overflate-Skip (MAOS) har potensiale til å bidra til en mer fleksibel urban mobilitetsløsning med reduserte utslipp av drivhusgasser. For å muliggjøre maritim autonomi må systemene gjennomgå grundig sikkerhetsvalidering. Fordi autonome systemer består av flere lag med komplekse systemer som utfører vurdering og beslutningstaking, er ikke tradisjonelle metoder for sikkerhetsvalidering tilstrekkelig for å teste systemene. For å adressere dette problemet har nylig forskning etterlyst nye metoder for å utføre intelligent simuleringsbasert sikkerhetsvalidering av MAOS. Det er foreslått flere metoder for å automatisk identifisere scenarier som er utfordrende for MAOS å navigere i, for å redusere antall nødvendige testscenarier og utføre tilstrekkelig fullstendig testing. Forfatteren har imidlertid ikke funnet noen metoder for bruk i maritim autonomi, som tar for seg måten simuleringen av scenariet utvikler seg. Slike metoder har blitt brukt på autonome kjøretøy og flysystemer ved bruk av metoder som f.eks Adaptive Stress Testing AST. AST er en simuleringsbasert metode som bruker forsterkende læring til å utføre søk etter feil i simuleringer av systemet som testes. Feil blir funnet ved å injisere en sekvens av forstyrrelser og gradvis lære den mest effektive og sannsynlige måten å forstyrre systemet til å svikte. Dette arbeidet foreslår bruk av AST som et trinn i sikkerhetsvalideringsprosessen til MAOS. For å demonstrere metoden brukes AST i tester av to forskjellige kollisjonsunngåelses-strategier i simuleringer av den autonome passassjerfergen milliAmpere. AST utgjør en svært fleksibel metode, da den kan justeres og tilpasses domenet og det spesifikke formålet. Oppgaven foreslår flere slike tilpasninger for å forbedre metoderelevansen for det maritime domenet. Resultatene viser potensialet til AST i sikkerhetsvalideringsprosessen til MAOS, ved at mange interessante feil blir identifisert, hvilke avdekker potensielle aspekter ved de forskjellige kollisjonsunngåelse-systemene hvor det er forbedringspotensiale. Videre forskning bør utføres for å forbedre metoden og for å kombinere AST med scenario-genereringsmetoder.

Maritime Autonomous Surface Ships (MASS) have the potential to contribute to a more flexible urban mobility system with reduced emissions of greenhouse gasses. To enable marine autonomy, the systems have to be thoroughly assessed with regard to safety. Because autonomous systems are comprised of several layers of complex systems which perform reasoning and decision making, traditional safety validation methods become insufficient to test the system. To address this problem, recent research has called for new methods to perform intelligent simulation based safety validation of MASS. Several methods have been proposed to automatically identify scenarios which are challenging for MASS to navigate, to reduce the number of necessary test scenarios and perform sufficiently exhaustive testing. However, the author has not found any methods for use in marine autonomy, which address the way the simulation of the scenario evolves. However, such methods have been applied to autonomous vehicles and aircraft systems by applying methods such as Adaptive Stress Testing (AST). AST is a simulation based method which uses reinforcement learning to perform searches for failures in simulations of the system under test. Failures are found by injecting a sequence of disturbances and gradually learning the most efficient and likely ways to disturb the system into failure. This work proposes the use of AST as a step in the safety validation process of MASS. To demonstrate the method, AST is applied to two different Collision Avoidance (COLAV) strategies in simulations of the autonomous passenger ferry milliAmpere. AST constitutes a highly flexible method, as it can be adjusted and adapted to the domain and the specific purpose. Several such adaptations are proposed in the thesis, to relevance of the method to the maritime domain. The results demonstrate the potential of AST in the safety validation process of MASS, as many interesting failures are identified which uncover potential aspects of the different COLAV systems which can be subject to improvement. Further research should be performed to improve the method and to combine AST with scenario generation methods.