Vis enkel innførsel

dc.contributor.advisorLekkas, Anastasios
dc.contributor.authorCarbone, Nicolas Blystad
dc.date.accessioned2021-09-23T18:06:02Z
dc.date.available2021-09-23T18:06:02Z
dc.date.issued2020
dc.identifierno.ntnu:inspera:56990118:20961154
dc.identifier.urihttps://hdl.handle.net/11250/2780917
dc.description.abstractDen økende mengden applikasjoner som involverer maskinlæringsmetoder, utgjør en utfordring når eksperter prøver å forstå deres indre virkemåte. Deep Reinforcement Learning (DRL) er en maskinlæringsmetode som bruker kunstig nevrale nettverk for å trene modellfrie agenter til å operere i et miljø ved prøving og feiling, og har vist lovende resultater på mange problemer. Den sorte boksens natur til disse systemene mangler gjennomsiktighet i virkemåten og kan føre til tapt interesse siden mennesker ikke kan stole på deres beslutninger. Forklarende AI (XAI) har som mål å gi slik gjennomsiktighet og får økende oppmerksomhet både i industrien og i akademia. Denne avhandlingen utforsker hvordan modelltrær, med tanke på XAI, kan brukes og erstatte en kontinuerlig opererende agent for stifølging trent med Deep Deterministic Policy Gradient (DDPG). Modelltrær med lineære og kvadratiske funksjoner ved løvnodene blir undersøkt som tilnærmede modeller av den sorte boks DDPG-politikk (policy). Lineære Modelltrær (LMT) transformerer den ugjennomsiktige DDPG-politikken til en stykkevis lineær modell som er gjennomsiktig og sporbar fra inngang til utgang, på bekostning av en litt svekket ytelse i miljøet. LMT-er som fikk lov til å vokse dypere, viste forbedret tilnærming til den sorte boks-politikken. Treets gjennomsiktighet reduseres proporsjonalt med dybden, og det må gjøres en avveining mellom nøyaktighet og gjennomsiktighet. LMT kan brukes til å vise hver inngangstilstands bidrag til den påfølgende LMT-handlingen, og kan brukes som en tilnærmet forklaring på tilstandens betydning for DDPG-agentens utgang. Bidragsforklaringene fra LMT virker sammenlignbare med forklaringene gitt av den modell-agnostiske XAI-metoden SHapley Additive exPlanations (SHAP). En rekke anbefalinger blir avslutningsvis foreslått for trening av modelltrær når de brukes på andre sorte boks DRL-agenter. Resultatene er lovende og antyder at LMTs kan erstatte sorte boks agenter hvis en ekspert er fornøyd med oppførselen og gjennomsiktigheten. Som følger fortjener de ytterligere oppmerksomhet i forsøk på nye metoder innen XAI.
dc.description.abstractThe increasing amount of applications involving machine learning methods poses a challenge when experts aim to understand their internal workings. Deep Reinforcement Learning (DRL) is a machine learning approach using artificial neural networks to train model-free agents to operate in an environment by trial and error and has shown promising results on many problems. The black box nature of these systems lack transparency in their operation and could lead to lost interest simply because humans cannot trust their decisions. Explainable AI (XAI) aims to provide such transparency and is gaining momentum both in the industry and in academia. This thesis explores how model trees, in the view of XAI, can be applied and replace a continuous operating agent for path following trained using Deep Deterministic Policy Gradient (DDPG). Model trees with linear and quadratic functions at the leaf nodes are investigated as approximated models of the black box DDPG policy. The Linear Model Tree (LMT) transforms the opaque DDPG policy into a piecewise linear model transparent and traceable from input to output, at the cost of a slightly degraded performance in the environment. LMTs allowed to grow deeper showed improved approximation to the black box policy. The transparency of the tree is reduced proportionally to the depth and a tradeoff between accuracy and transparency must be made. The LMT can be used to show each input state’s contribution to the consequent LMT action and is usable as an approximated explanation of the state’s importance to the DDPG agent’s output. The contribution explanations by LMT appear comparable to the explanations provided by the model-agnostic XAI method SHapley Additive exPlanations (SHAP). A series of recommendations are finally proposed for training of model trees when applied to other black box DRL agents. The results are promising and suggests that LMTs may replace black box agents if an expert is satisfied with the behaviour and transparency. As such they deserve further attention in attempts towards new methods in the field of XAI.
dc.language
dc.publisherNTNU
dc.titleExplainable AI for path following with Model Trees
dc.typeMaster thesis


Tilhørende fil(er)

Thumbnail
Thumbnail

Denne innførselen finnes i følgende samling(er)

Vis enkel innførsel