Explainable AI for Credit Scoring in Banks

Abstract

Finansmyndighetene stiller strenge krav til bankers kredittmodeller. De må være nøyaktige, men også tilstrekkelig forklarlige. Logistisk regresjon (LR) har lenge vært industristandarden innen banksektoren, men i løpet av de siste tiårene har maskinlæring (ML) forbedret de prediktive egenskapene til kredittmodeller betydelig. Imidlertid blir dagens ML tilnærminger ofte sett på som "svarte bokser", da det er vanskelig å forstå logikken og utregningene som ligger bak modellene. Gapet i forklarbarhet mellom de beste ML modellene og dagens LR modeller, gjør at bankene må ofre noe av nøyaktigheten i prediksjonene til kredittmodellene sine for å imøtekomme myndighetens krav til forklarbarhet.

I denne oppgaven presenterer vi en forklarbar ML modell som predikerer mislighold blant kunder i en norsk bank. Vi kombinerer LightGBM med SHAP, et forklarbart AI (XAI) rammeverk, som gjør det mulig å tolke hvordan de ulike forklaringsvariablene til modellen påvirker prediksjonene. LightGBM-modellen sammenlignes med bankens kredittmodell (Logistisk Regresjon), som benyttes daglig i praksis, hvor vi oppnår en 17% og 114% forbedring i hhv. ROC AUC og PR AUC. For å kunne sammenligne metodene mer direkte, trente vi deretter opp en egen LightGBM modell basert på variablene i LR-datasettet. Denne modellen gav forbedringer på hhv. 9% og 56% i ROC AUC og PR AUC.

De viktigste bidragene fra denne oppgaven er anvendelsen av XAI innenfor banksektoren, og analysen av hvordan disse metodene kan benyttes for å forbedre forklarbarheten og påliteligheten til moderne ML modeller. Vi viser at LightGBM-modeller er bedre enn dagens LR-modeller både når det gjelder nøyaktigheten i prediksjonene og forklarbarheten til modellen. I tillegg viser vi at den prediktive forbedringen ved å bruke av ML kan ha betydelig økonomisk verdi for bankene. Europeiske lovgivere anerkjenner at ML trolig vil være en helt vesentlig del av bankvirksomheten i årene som kommer. Denne oppgaven viser hvordan XAI kan hjelpe bankene med å overkomme utfordringene relatert til forklarbarheten til slike modeller.

Credit scoring models applied by banks are required by financial authorities to be sufficiently explainable. Logistic regression has long been the industry standard for these models. Over the last few decades, machine learning (ML) techniques have advanced default predictions further, with increased predictive performance. However, current ML approaches are often perceived as black boxes, meaning that it is hard to understand the inner workings of the models. The explainability deficit of the best-performing ML models means that banks have to sacrifice predictive power in order to abide by the regulations regarding explainability.

This paper proposes an explainable ML model for predicting credit default on a real-world dataset provided by a Norwegian bank. We combine a LightGBM model with SHAP, an explainable AI (XAI) framework, which enables the interpretation of explanatory variables affecting the predictions. The LightGBM model is compared to the bank's actual credit scoring model (Logistic Regression), where we achieve a 17% and 114% increase in ROC AUC and PR AUC, respectively. For comparison reasons, a separate LightGBM model with the same original features as the ones in Logistic Regression is trained, where we achieve a 9% and 56% increase in ROC AUC and PR AUC, respectively.

Our main contribution is the implementation of XAI methods in banking, exploring how these methods can be applied to improve the interpretability and reliability of state-of-the-art ML models. We specifically find that LightGBM models outperform LR models for credit scoring in terms of both predictive performance and explainability, and that the economic value of the predictive improvement can be substantial. For the same reasons, European legislators have acknowledged that ML might play an essential part in banking moving forward. This paper shows that XAI can assist banks in enabling ML by overcoming the obstacles related to explainability.