Application of XAI in default prediction of Norwegian Commercial Real Estate Companies

Abstract

De siste ti årene har vi sett at maskinlæring og forklarbar kunstig intelligens har hatt en tydelig og hurtig utvikling. Denne utviklingen medfører økt interesse og mulighet for å benytte komplekse maskinlæringsmodeller til å mer presist vurdere kredittrisiko av investeringer. Til tross for at maskingslæringmetoder er fleksible i implemetering, så observerer vi en mangel på utvikling som fokuserer på sektorspesifikk konkursprediksjon. Vi utvikler derfor en ekstrem gradientforsterkende veiledet maskinlæringsmodell (XGBoost) spesifikt for konkurspredikering av små og mellomstore næringseiendomsselskap. Næringseiendomsselskap ble valgt på grunn av bankene sin høye eksponering mot denne sektoren samt viktigheten sektoren har for et lands finansiell stabilitet. For å forklare modellen implementerer vi SHAPley additive forklaringer (SHAP) for post hoc fortolkning av XGBoost, og beviser at XGBoost gir høyere ytelse sammenlignet med en tradisjonell logistisk regresjonsmodell (LR). Vi evaluerer og sammenligner resultatene gjennom ROC-AUC og PR-AUC. Modellen ble trent ved bruk av rullende perioder der vi gradvis øker treningssett fra 2012-2021, der vi starter med 2012-2017. Vi utvikler modellen til å predikere ett år i forveien ved bruk av test sett som inneholder suksessivt ett år om gangen fra 2018-2022. Globale SHAP verdier viser at variablene Sum Gjeld / Sum Eiendeler, Elektrisitets Pris og Sum Driftsinntekter / Sum Eiendeler bidrar mest til en økning i sannsynlighet for konkurs. Videre, bruker vi lokale SHAP verdier for å vurdere hvilke variabler som er mest tilknyttet sannsynligheten for konkurs i to tilfeldige valgte selskaper. Samlet sett finner vi at flere sektorspesifikke variabler er viktige for konkurrsprediksjonen i næringseiendomsektoren, noe som understreker det videre behovet for ytteligere sektorspesifikk forskning på kredittrisiko i fremtiden.

The field of machine learning (ML) and explainable artificial intelligence (XAI) has developed rapidly the last ten years. This development has generated increased interest in the use of complex machine learning models to more accurately assess the credit risk of investments. However, despite machine learning techniques being flexible in their implementation, we observe a lack of development focusing on sector-specific default prediction. We therefore develop an extreme gradient boost (XGBoost) supervised machine learning model specifically for the default prediction of small and medium sized commercial real estate (CRE) companies. CRE is chosen due to the heavy exposure banks have towards this sector and the importance it holds for a country's financial stability. We implement the XAI technique SHAPley additive explanations (SHAP) for post-hoc interpretation of the XGBoost, and prove that the XGBoost provides higher performance compared to a traditional logistic regression (LR) model. Performance is evaluated and compared using ROC-AUC and PR-AUC. Model training is done with increasingly large datasets from 2012-2021, starting with 2012-2017, where testing is done at a one year forward horizon from 2018-2022. Using global SHAP values we find that the features Total Liabilities / Total Assets, the Electricity Price, and Operating Income / Total Assets contribute the most clearly in increasing default probability. In addition, we implement local SHAP values to analyze the features associated with the default prediction of two randomly chosen firms. Overall, we find that several sector-specific features are important for the default prediction in the CRE sector, which emphasizes the need for further sector-specific credit risk research in the future.