Adaptive Stress Testing applied to a Maritime Object Detection System

Abstract

Med den stadig større rollen autonome systemer tar i den moderne verden, følger et stort fokus på verifisering av tilstrekkelig trygghet. Grundig verifisering av et autonomt system krever testing på alle nivåer av systemet, som spenner fra den totale autonomien til hver enkelt sensor. Nylige forbedringer i teknologi for å simulere sensorer tillater en simuleringsbasert fremgangsmåte til verifisering av de lavere nivåene. Dette vil bli utnyttet for å teste et maritimt gjenstandsdeteksjonssystem, ved bruk av en moderne verifiseringsmetode kalt Adaptiv Stresstesting.

Gjenstandsdeteksjonssystemet er en del av et autonomt fartøy. Systemet bruker en LiDAR detektor, som blir simulert med teknologi i spillmotoren Unity. Stråler fra detektoren reflekteres av objekter og returneres i form av punktskyer, som kan klynges sammen av en algoritme for å skille mellom forskjellige objekter. Feil av systemet kan defineres som når antallet klynger ikke tilsvarer antallet objekter. Dette kan skje enten når et objekt ikke blir detektert, når flere objekter slås sammen til en enkelt klynge, eller når et enkelt objekt deles opp i flere klynger. Målet med testingen i oppgaven er å se om noen maritime traffikscenarioer kan forårsake feil av systemet. Skip blir derfor lagt til i simulatoren. For å sikre realistiske scenarioer, blir skipene implementert med et navigasjonssystem som regner ut en rute til en destinasjon, og unngår hindre på veien dit.

Adaptiv Stresstesting er basert på prinsippet om falsifisering. Metoden prøver aktivt å få systemet som testes til å feile, ved å påføre forstyrrelser i miljøet. Den bruker teknikker fra forsterkende læring til å søke etter og optimere den mest sannsynlige feilen av systemet som testes. Adaptiv Stresstesting-algoritmen skal kontrollere skip i simulatoren for å lage maritime trafikkscenarioer, ved å sette destinasjonen for hvert skip. For å koble sammen Adaptiv Stresstesting-algoritmen med simulatoren, har et testoppsett blitt designet og implementert. Testoppsettet gir en lukket kommunikasjonsløkke, som lar algoritmen kontrollere skipene i simulatoren og motta tilbakemeldinger fra systemet som testes for å tilpasse søket etter feil.

Etter å ha gjennomført tre casestudier hadde flere kjente feil av gjenstandsdeteksjonssystemet blitt funnet av Adaptiv Stresstesting-algoritmen. Ingen overraskende eller ukjente feil ble funnet. Dette kan bli brukt som et argument for at systemet er tilstrekkelig trygt og robust, ved å argumentere med at hvis andre feil i systemet eksisterte, så ville de blitt funnet av metoden. Men, siden metoden ikke er et fullstendig søk, og den bare returnerer den mest sannsynlige feilen, så kan den ikke garantere fravær av andre feil. Videre, så blir feilene den fant taklet av et høyere nivå av det autonome systemet, spesifikt en målsporingsmodul. Dette tyder på at videre arbeid kan være å teste lignende scenarioer, men med et høyere nivå av autonomien som system under test. Det er også en potensiell fortsettelse relatert til å utvide funksjonaliteten til simulatoren, for å inkludere andre relevante forstyrrelser som kan påvirke ytelsen til gjenstandsdeteksjonssystemet.

With the increasingly larger role that autonomous systems are taking in the modern world, a large focus on verification of sufficient safety follows. Thorough verification of an autonomous system requires testing on all levels of the system, ranging from the full autonomy to each individual sensor. Recent improvements in technology for simulating sensors enable a simulation-based approach to verification of the lower levels of autonomy. This will be utilized to test a maritime object detection system, using a modern verification method called Adaptive Stress Testing.

The object detection system is part of an autonomous vessel. The system relies on a LiDAR detector, which is simulated using technology in the Unity Game Engine. Rays from the detector reflect off objects and return in the form of point clouds, that are clustered by an algorithm to separate different objects. Failure of the system can be defined as whenever the number of clusters does not match the number of objects. This can happen either when an object is not detected, when multiple objects are merged into a single cluster, or when a single object is split into multiple clusters. The goal of the testing in this thesis is to see whether any maritime traffic scenarios can cause failure of this system. Ships are therefore added to the simulator. To ensure realistic scenarios, the ships are implemented with a navigation system that calculates the path to a destination and avoids obstacles on the way there.

Adaptive Stress Testing is based on the falsification principle. The method actively tries to make the system under test fail, by applying environmental disturbances. It uses reinforcement learning techniques to search and optimize for the most likely failure of the system under test. The Adaptive Stress Testing algorithm will control ships in the simulator to create maritime traffic scenarios, by setting the destination for each ship. To connect the Adaptive Stress Testing algorithm with the simulator, a test setup has been designed and implemented. The test setup provides a closed communication loop, which allows the algorithm to control ships in the simulator and receive feedback from the system under test to guide the search for failure.

After completing three case studies, several known failure modes of the object detection system had been found by the Adaptive Stress Testing algorithm. No unexpected or unknown failures were found. This can be used as an argument that the system is sufficiently safe and robust, by arguing that if other failure modes existed, they would have been found by the method. However, since the method is not an exhaustive search, and it only returns the most likely failure, it cannot guarantee the absence of other failure modes. Furthermore, the failures that were found are handled on a higher level of the autonomous system, specifically a target tracking module. This suggests further work on testing similar scenarios, but with a higher level of autonomy as the system under test. There is also a potential continuation related to expanding the simulator capabilities, to include other relevant disturbances that can affect the object detection performance.