Konkursprediksjon av norske SMB

Abstract

Å kunne predikere konkurs er hensiktsmessig for flere aktører i finanssektoren, og konkursprediksjon har over mange tiår vært et sentralt emne å undersøke blant akademikere, finansinstitusjoner og bedrifter. I senere år har det blitt utviklet nye og mer komplekse maskinlæringsmetoder som har vist seg å ha svært god prediksjonsevne. På en annen side kjennetegnes disse komplekse maskinlæringsmetodene med lav iboende tolkbarhet, og presenteres i litteraturen som The Black Box Problem (svarte bokser). Som et resultat av denne utfordringen, brukes de komplekse metodene sjelden i praksis, hvor det er de enklere maskinlæringsmodellene med høy iboende tolkbarhet som foretrekkes.

I denne masteroppgaven ser vi derfor nærmere på problemstillingen «Hvordan kan xAI øke tolkbarheten av komplekse maskinlæringsmodeller for konkursprediksjon, og hvor aktuelt er det å ta i bruk dette i finanssektoren?». Dette gjør vi ved å ta i bruk maskinlæringsmetoden XGBoost, som er en trebasert ensemble metode, for konkursprediksjon. For å få et godt bilde på fordelene ved å bruke XGBoost, så velger vi å sammenligne modellenes ytelse med logistisk regresjon, som er en enklere maskinlæringsmetode med god iboende tolkbarhet. Våre modeller trenes og testes på et datasett som representerer norske små- og mellomstore bedrifter i perioden 2006-2019. XGBoost-modellene viser seg i våre resultater å gjøre det bedre enn de logistiske regresjonsmodellene i samtlige perioder med en gjennomsnittlig AUC lik 90\% out-of-sample, mot logistiske regresjonsmodeller med en gjennomsnittlig AUC lik 87\%. XGBoost har også gjennomgående lavere Brier Score enn logistisk regresjon. XGBoost-modellene har derfor bedre prediksjonsevne enn de logistiske regresjonsmodellene på våre data.

Videre forsøker vi å øke XGBoost-modellenes tolkbarhet ved å anvende Shapley Additive Explanations-rammeverket (SHAP), som er en form for Explainable AI. Først tar vi i bruk SHAP for å gjøre globale forklaringer, hvor vi finner at modellenes generelle logikk er i tråd med økonomisk teori som øker modellenes pålitelighet. Deretter tar vi i bruk SHAP for lokale forklaringer, hvor SHAP gjør det mulig å tolke hvilke variabler som påvirker en enkeltbeslutning og hvilken effekt variablene har på prediksjonen. Totalt sett finner vi at SHAP gjør det mulig tolke både på globalt og lokalt nivå, samtidig som modellens prediksjonsevne opprettholdes. Derfor anser vi SHAP-rammeverket som en effektiv løsning på utfordringen knyttet til svarte bokser, og dermed å gjøre komplekse maskinlæringsmodeller mer anvendbare for konkursprediksjon i finanssektoren.

Being able to predict bankruptcy is relevant for multiple actors in the financial sector, and bankruptcy prediction has been a central topic of investigation among academics, financial institutions, and businesses for many decades. In recent years, new and more complex machine learning methods have been developed, showing excellent predictive capabilities. However, these complex machine learning methods are characterized by low inherent interpretability and are referred to as "The Black Box Problem" in the literature. As a result of this challenge, these complex methods are rarely used in practice, where simpler machine learning models with high inherent interpretability are preferred.

In this master's thesis, we therefore examine the research question «How can xAI enhance the interpretability of complex machine learning models for bankruptcy prediction, and how relevant is it to adopt this in the financial sector?». We accomplish this by using the machine learning method XGBoost, which is a tree-based ensemble method, for bankruptcy prediction. To gain a good understanding of the advantages of using XGBoost, we choose to compare the performance of the models with logistic regression, which is a simpler machine learning method with good inherent interpretability. Our models are trained and tested on a dataset representing Norwegian small and medium-sized enterprises from 2006 to 2019. In our results, XGBoost models outperform logistic regression models in all periods, with an average out-of-sample AUC of 90\%, compared to logistic regression models with an average AUC of 87\%. XGBoost also consistently exhibits lower Brier Score than logistic regression. Therefore, XGBoost models demonstrate better predictive capabilities than logistic regression models on our data.

Furthermore, we attempt to enhance the interpretability of XGBoost models by applying the Shapley Additive Explanations framework (SHAP), which is a form of Explainable AI. First, we use SHAP to provide global explanations, finding that the models' general logic aligns with economic theory, thus increasing their reliability. Next, we employ SHAP for local explanations, allowing us to interpret which variables influence an individual decision and the effects these variables have on the prediction. Overall, we find that SHAP enables interpretability at both global and local levels while maintaining the models' predictive performance. Therefore, we consider the SHAP framework an effective solution to the challenge of black boxes and making complex machine learning models more applicable for bankruptcy prediction in the financial sector.