Explainable AI approaches for deep reinforcement learning agents in a high performance chess environment

Abstract

Hvordan kan man forklare kunnskapen som sjakkspillende nevrale nettverk opparbeider seg? Dominansen av sterke nevrale nettverksmodeller innenfor sjakk har gjort det stadig mer interessant å undersøke hva slags sjakkmessig forståelse slike modeller fremstiller. Denne oppgaven legger derfor frem et mindre beregningstungt alternativ for å produsere kompetente sjakkspillende nevrale nettverkmodeller, ved å trene slike modeller gjennom ``reinforcement learning" ved selvspill. Oppgaven presenterer også bruk av eksisterende forklaringsmetoder på de resulterende modellene, samt utvikling av spesialiserte metoder til bruk for å forklare sjakkspillende nevrale nettverk.

Selv om det finnes tilgjengelige implementasjoner av standard 8x8-sjakkmiljø og sjakkspillende nevrale nettverksmodeller, så er eksisterende forklaringsmetoder relativt beregningstunge ved bruk på store modeller. Dessuten vil det å ha tilgang til den fullstendige treningsprosedyren gjøre det mulig å skape forklaringsmetoder som krever opptrening av de aktuelle modellene fra bunnen av. Den nødvendige reduksjonen av beregningskrav blir hovedsakelig oppnådd ved å produsere et tilpasningsdyktig sjakkmiljø med høy simuleringsytelse. Dette miljøet kobles sammen med en effektiv treningsprosedyre som trenes ved ``deep reinforcement learning" ved Monte Carlo tresøk. Den implementerte treningsprosedyren brukes deretter for å trene kompetente nevrale nettverksmodeller på 4x5- og 6x6-varianter av sjakk.

Modeller produsert av den nevnte treningsprosedyren kan deretter forklares ved hjelp av moderne forklaringsmetoder fra forklarbar kunstig intelligens som fagfelt. Dette innebærer blant annet å søke etter modellenes opparbeidede domenekunnskap gjennom konseptdeteksjon, der resultatene fra denne metoden kan sammenlignes med etablerte resultater for større modeller.

Denne oppgaven presenterer også nye forklaringsmetoder for sjakkspillende nevrale nettverksmodeller. For det første presenteres det en metode som visualiserer modellenes forståelse av et gitt konsept gjennom konseptmaksimering. For det andre presenteres det en fremgangsmåte som kan gi globale forklaringer for en gitt modell ved å se på korrelasjoner mellom oppdagede konsepter og predikert partiutfall, noe som også tillater en analyse av de valgte 4x5- og 6x6-sjakkvariantene. For det tredje viser denne oppgaven en strategi for hvordan man kan observere informasjonsinnholdet i mellomlag i en gitt modell ved å bytte ut et antall av disse lagene med binære mellomlag. Til slutt presenteres det prosedyrer spesielt tilpasset sjakkmodeller som kan brukes til å fremlegge kontrafaktiske forklaringer og viktighetskart over vilkårlige stillinger.

How does one best explain the learned knowledge of chess-playing neural network models? With strong neural network models quickly becoming the state of the art within the domain of chess, it has become increasingly interesting to investigate what such models have learned. This thesis aims at presenting a less computationally expensive alternative to training strong neural network models for chess, by training chess-playing agents through self-play using reinforcement learning. The thesis also presents the application of existing explanation methods to the resulting models, and the development of specialised methods for explaining chess-playing neural network models.

While there are existing implementations of standard 8x8 chess environments and large open-source versions of chess-playing agents available, most explanatory methods are quite computationally expensive to perform on large models. Additionally, having access to all parts of a complete training pipeline greatly facilitates creating explanatory methods that require training any given model from scratch. The required computational savings presented in this work are mainly achieved by operating on smaller variants of chess, which is made possible by implementing a customisable and high-performance chess environment. This environment is then coupled with an effective procedure for deep reinforcement learning (DRL) through Monte Carlo Tree Search. The resulting pipeline is then used for training of strong neural network models for 4x5 and 6x6 variants of chess.

Models produced by the custom training pipeline are then explained using various modern methods from the field of Explainable Artificial Intelligence (XAI). This includes searching for domain knowledge accrued by the models through concept detection probing, the results of which can be compared to other established results for larger models.

This work also presents novel explanatory methods for neural network based chess agents. Firstly, a method for visualising the model's comprehension of a given concept through concept maximisation is presented. Secondly, a method for providing global explanations for a given model through observing the correlations between probed concepts and predicted game outcome is described. This also allows for analysis of the selected 4x5 and 6x6 chess variants. Thirdly, the work presents an approach for gauging the information content in intermediary layers using binarised neural networks. Finally, alternative adaptations of the well-studied method groups of counterfactual explanations and saliency maps to the game of chess are presented.