Risk awareness and control of autonomous robots

Abstract

Norsk sammendrag Å gjøre autonome systemer i stand til å fungere trygt uten direkte menneskelig overvåking krever at systemene får en situasjonsbevissthet som det i dag hovedsakelig er operatøren som står for. En avgjørende del av denne situasjonsbevisstheten er at den tar hensyn til usikkerhet og risiko, noe som gjør operatøren i stand til å ta risikobeviste beslutninger. Målet med denne avhandlingen er å utvikle nye metoder for å gi robotsystemer bedre risikobevissthet, og dermed bidra til å muliggjøre sikrere og mer effektive autonome systemer. Avhandlingen tar for seg to forskjellige eksempelstudier for å bidra mot dette målet. Den første omhandler en inspeksjonsdrone hvor målet er å øke dronen forståelse av risikoer relatert til den selv og miljøet rundt den. Den andre omhandler autonom kollisjonsunngåesle til sjøs. Her er målet å forbedre autonome skips evne til å forstå intensjonene til den møtende trafikken. Denne avhandlinga presenterer seks forskjellige bidrag mot det overliggende målet. Tre for hvert eksempelstudium. Fire av disse er basert på artikler sendt inn eller publisert i fagfellevurderte tidsskrifter mens to er basert på artikler sendt inn eller publisert i fagfellevurderte konferanser. Det første kapittelet på drone studiet bidrar mot å gi dronen en bedre forståelse av usikkerhet i plasseringen og utstrekningen til hindringer. Her blir et occupancy grid map brukt for å modellere usikkerheten i miljøet som skyldes at dronen bruker en bredviklet radar for å oppdage hindringer. Dette kartet blir kombinert med navigasjonsusikkerheten til dronen for å evaluere risikoen for kollisjon. En scenariobasert modell prediktiv kontroll algoritme brukes for å velge et optimalt avvik fra den planlagte ruta som tar høyde for risikoen for kollisjon. De neste to kapitlene tar for seg hvordan man kan gi dronen en holistisk forståelse av risiko. Disse arbeidene bidrar til å gjøre dronen i stand til å identifisere dens interne helsetilstand og tilstanden til det eksterne miljøet basert på indirekte målinger. Denne kunnskapen brukes så for automatisk beslutningstaging. Den første av disse kapitlene tar for seg diskret beslutningstaging. Her skal en drone, som brukes til å måle veggtykkelse med en kontaktbasert ultralydsprobe, vurdere om den skal gjennomføre en inspeksjon, be om vedlikehold, eller bytte til et annet inspeksjonspunkt. Det neste kapittelet tar for seg beslutninger som må tas kontinuerlig gjennom et oppdrag. Her brukes en overvåkende risikokontroller til å endre sikkerhets kristiske parametre i samtid under opperasjonen for å sikre et akseptabelt risikonivå. For å oppnå en holistisk risikomodell så brukes en risiko analyse for å identifiserer faremomenter. Risikomodellen brukt i den overvåkende risikokontrolleren er laget basert på denne analysen. Forskningen på det andre eksempelstudiet bidrar med å gjøre autonome skip i stand til å forstå intensjonene til møtende trafikk. Intensjonsmodellen som blir utviklet i denne avhandling, gjør det mulig for autonome skip å identifisere situasjoner som kan føre til missforståelser og å forstå intensjonene til andre skip basert på den observerte oppførselen fra AIS eller rader. Modellen forstår når skip handler i samsvar med de maritime trafikkreglene (COLREGS) og er i stand til å skille mellom forskjellige måter reglene kan bli brutt på. Modellen bruker statistikk på hvordan skip pleier å oppføre seg for å forstå intensjonene og forutse fremtidig adferd. Modellen kan utnytte statstikker som er basert på spesifikke skipstyper eller områder for å bedre forstå intensjonene til den møtende trafikken. Intensjonsmodellen er testet på simulerte scenarier, på historisk AIS data, og på kontrollerte felteksperimenter. I felteksperimentene blir intensjonsmodellen kombinert med en probabilistisk scenariobasert modellprediktiv kontroller for å oppnå kollisjonsunngåelsesoppførsel som er i samsvar med sjøfartsreglene (COLREGS). Disse eksperimentene demonstrerer hvordan intensjonsmodellen gjør det mulig for autonome skipet å oppfylle sine forpliktelser til å holde kurs og fart, og å forstå når den skal bryte disse forpliktelsene for å sikre en trygg kollisjonsunngåelse. Mesteparten av bidragene presentert i denne avhandlingen bruker forskjellige versjoner av Bayesiske nettverk, slik som dynamiske Bayesiske nettverk og dynamiske beslutnings nettverk. Disse nettverkene muliggjør evnen til å forstå underliggende tilstander basert på indirekte målinger og å kombinere informasjon fra forskjellige faktorer som påvirker risiko eller adferd i en holistisk modell. Denne avhandlingen demonstrerer hvordan disse nettverkene kan brukes for å øke risikobevistheten og den kunstige intelligensen til robotsystemer for forskjellige eksempelstudier og forskjellige klasser av problemer.

English summary Enabling autonomous systems to safely operate without direct human supervision requires that the systems have the situation awareness which, for a large part, is presently provided by human operators. A crucial part of this situation awareness is that it considers uncertainty and risk, thereby enabling the operator to make risk-based decisions. The goal of this thesis is to develop new methods for giving robotic systems better risk-awareness, thereby contributing towards enabling safer and more efficient autonomous systems. To contribute towards this goal two different case studies are considered. The first considers an inspection drone operation, where the goal is to increase the drone’s understanding of risks related to its own state and the state of the environment. The second considers autonomous collision avoidance at sea, where the goal is to improve the ability of autonomous ships to understand the intentions of meeting traffic. This thesis presents six novel contributions towards this goal, three for each case study. Four of these are based on articles submitted or published in peer-review journals, and two are based on articles submitted or published in peer-reviewed conference proceedings. The first chapter on the drone case study contributes towards giving the drone a better understanding of uncertainty related to the location and size of obstacles. Here an occupancy grid map is used to model the uncertainty in the environment caused by the drone using a wide-angle radar for obstacle detection. This map is combined with the navigational uncertainty in the drone to evaluate the risk of collision. A scenario-based model predictive control algorithm is used to choose the optimal path offset while considering risk of collision. The two next chapters consider giving the drone a holistic understanding of risk. These chapters contribute towards enabling the drone to infer its internal health state and the state of the external environment based on indirect measurements, which is then used for automatic decision-making. The first of these chapter consider discrete decision making where a drone tasked with contact-based ultrasound thickness measurements must choose whether it should perform an inspection, request maintenance, or move to a different task. The next chapter considers continuous decisions that have to be made throughout the mission. Here an online supervisory risk controller modifies safety-critical parameters during flight to ensure an acceptable risk level. To ensure that a holistic risk understanding is achieved, a risk analysis is performed to identify hazardous situations. The risk model used by the controller is then made on the basis of this analysis. The research on the second case study contributes towards enabling autonomous ships to understand the intentions of meeting traffic. The intention model developed in this thesis enables autonomous ships to identify situations prone to cause misunderstanding and to infer the intentions of the other ships based on the observed behavior from AIS and radar. The model is able to understand when ships act in accordance with the maritime traffic rules (COLREGS) and distinguish between different types of incompliant behavior. The model uses statistics on how ships have historically acted for making inferences and predictions. These statistics can be tailored for the current situation, thereby enabling the model to understand that different types of ships act differently in different environments. The intention model is tested on simulated scenarios, on historical AIS data, and in controlled field experiments. In the field experiments, the intention model is combined with a probabilistic scenario-based model predictive controller for COLREGS-compliant collision avoidance. These experiments demonstrate how the intention model enables the autonomous ship to fulfill its stand-on obligations when other ships seem to act in accordance with the traffic rules and when and how to break from these obligations to ensure safe collision avoidance. Most of the works in this thesis use different versions of Bayesian belief networks, such as dynamic Bayesian networks and dynamic decision networks. These networks have enabled the inference capabilities needed to infer the state of states that are not directly observable, and the ability to combine information from different factors affecting the risk or behavior in a single model. This thesis demonstrates how these networks can be used to increase risk awareness and artificial intelligence for different case studies and types of inference and modeling problems.