Explainable AI methods for Cyber-Physical systems

Abstract

Fremskrittene i kunstig intelligens (AI) det siste tiåret har banet vei for et innovativt og mer digitalisert samfunn. Til dags dato er AI-løsninger til stede i mange situasjoner vi møter hver dag. Basert på denne evolusjonen blir det nå gjort mer forskning på forsterket læring (RL). For robotikk kan dette være en gamechanger, siden RL gjør systemer i stand til å lære basert på erfaring, noe som kan øke graden av autonomi i fremtidens roboter. Det største gjennombruddet er til stede i feltet dyp forsterkende læring (DRL), der RL kombineres med kunstige nevrale nettverk (ANN).

Imidlertid kommer innføringen av nevrale nettverk i RL med en ulempe. Systemene oppfører seg som en svart boks, og gir sjelden noen forklaringer eller begrunnelser for deres prediksjoner. I robotikk, der feil kan føre til katastrofale konsekvenser, må disse systemene gjøres mer transparente og pålitelige. Målet for forklarende kunstig intelligens (XAI) er å tolke beslutningene til en agent for å få mer innsikt og forståelse om systemene.

I dette prosjektet har fire XAI-metoder blitt brukt til å tolke beslutningene tatt av DRL-agenter i to robotmiljøer av ulik kompleksitet. Fire prosedyrer har blitt implementert for å undersøke hvordan disse modellene oppfører seg i lokale situasjoner, globalt over en hel episode, innen trenings-fasen, og med data-tilpasninger, inkludert reduksjon av tilstander og tvangsinitialisering. Et "sanntids"-eksempel er også inkludert for å vise hvordan en slik forklaringsmodell kan samhandle med et publikum.

Forskningen viser at mye informasjon kan samles fra XAI-eksperimenter, både for å bekrefte eksisterende menneskelig intuisjon om modellene og oppdage nye trender. Imidlertid kan uventede tolkninger, sammen med antakelser og svakheter i metodene, sette forklaringene under et kritisk syn. Selv om XAI kan forbedre den endelige beslutningstaking, er det viktig å ha begrensningene i bakhodet. Dette gjelder spesielt for komplekse miljøer, der sterkt korrelerte funksjoner kan forårsake problemer. Å redusere tilstandsrommet var en effektiv måte å løse noen av utfordringene, men mye forskning gjenstår før dette kan sees i avansert robotutvikling.

The advancements in Artificial Intelligence (AI) in the last decade have paved the way for an innovative and more digitalized society. To this date, AI solutions are present in many situations we encounter in our everyday life. Based on this evolution, more research is now being done into Reinforcement Learning (RL). For robotics, this could be a game-changer since RL makes systems able to learn from experience, which can take future robots into an even higher degree of autonomy. The biggest break-through is present in the field of Deep Reinforcement Learning (DRL) where RL is combined with Artificial Neural Networks (ANN).

However, the introduction of neural networks into reinforcement learning comes at a cost. The systems behave like black boxes that do not provide any explanations or justifications for their predictions. In robotics, where mistakes could lead to catastrophic consequences, these systems must be made more transparent and trustworthy before they can be deployed. The aim for Explainable Artificial Intelligence (XAI) is to interpret an agent's decision-making to obtain insight into the black-box systems.

In this project, four XAI-methods have been used to interpret the decisions made by DRL-agents across two robotic environments of different complexity. Four procedures have been implemented to investigate how these models predict local situations, globally across an entire episode, within the training phase, and with data adaptions, including feature space reduction and forced initializations. A "real-time" example is also included to demonstrate how such an explainer model can interact with an audience.

The research shows that much information can be collected from the XAI-experiments, both to confirm pre-existing human intuition about the models and discover new trends. However, unexpected interpretations, together with assumptions and weaknesses present in the methods, can put the explanations under a critical view. Although XAI could improve final decision-making, it is vital to keep the limitations within the explainers in mind. This especially yields for complex environments, where highly correlated features can cause problems. Feature removals were a great way to reduce some of these challenges, but much research remains before this could be seen in real-life robotic DRL-development.