Interpretable Deep Learning for Bankruptcy Prediction

Abstract

Konkurs fører til betydelige tap for både næringsliv og samfunnet som helhet. Derfor har konkursprediksjon vært et viktig tema for akademikere, finansielle institusjoner, bedriftsledelse og andre interessenter. I de siste årene, har flere maskin- og dyplæringsmetoder med gode prediktive evner blitt utviklet. Likevel, på grunn av black–box–problemet, som medfører redusert tolkbarhet og pålitelighet, blir gjerne enklere maskinlæringsmodeller foretrukket for bruk i den virkelige verden.

I denne oppgaven utforsker vi bruken av “Lang korttidsminne” (LSTM) nettverk, i stand til å bruke sekvensiell regnskapsdata for konkursprediksjon. For å forbedre tolkbarheten av LSTM nettverkene implementerte vi Shapley Additive Explanations-rammeverket (SHAP). Videre, for å evaluere de prediktive evnene til LSTM nettverkene, konstruer vi et rekurrent nevralt nettverk (RNN), og et flerlags forovermatet nevralt nettverk. Modellene blir trent på et datasett med små og mellomstore norske bedrifter (SMB). Datasettet består av 212 020 ukonsoliderte årsregnskap fra perioden 2006– 2019, som vi brukte til å konstruere 156 variabler. Kun en liten prosentandel av regnskapene (0,5665%) var klassifisert som konkurs i perioden, noe som betyr at datasettet er svært ubalansert. For å ta høyde for dette, ble en kostnadssensitiv læringsstrategi brukt i treningen av de nevrale nettverkene.

LSTM-nettverket som brukte en sekvens på fire regnskapsår og alle variabler oppnådde en AUC og Brier score på respektive 0.9288 og 0.0477, en økning på 5,56% i AUC og reduksjon på 65,36% sammenlignet med det forovermatede nevrale nettverket. I tillegg oppnådde LSTM-nettverket som brukte en sekvens på fire regnskapsår og 30 variabler en økning på 1,74% i AUC sammenlignet med RNN. Dette indikerer at LSTM-nettverkene har høyere prediktive evner enn de andre nevrale nettverkene. Videre observerte vi en reduksjon av prediktive evner når vi reduserte sekvenslengden, noe som indikerer at lengre sekvenser av data øker LSTM-nettverkene sin evne til å predikere konkurs. For å øke tolkbarheten av LSTM-nettverkene, brukte vi SHAP-rammeverket for å forklare individuelle prediksjoner, samt for å gi innsikt til den generelle oppførselen til modellene. Videre sammenlignet vi om den lærte oppførselen til LSTM-nettverkene var i tråd med økonomisk teori. I tillegg diskuterte vi SHAP-rammeverkets evner fra et finansinstitusjons- og beslutningstakingsperspektiv. Funnene våre tyder på at SHAP-rammeverket øker tolkbarheten av dype nevrale nettverk, og derfor kan fasilitere bruk av komplekse, høytytende LSTM-nettverk for konkursprediksjon i næringslivet.

The financial failure of a firm causes considerable losses to both the business community and society as a whole. Consequently, bankruptcy prediction has been a field of great interest and importance for academics and practitioners alike. In recent years, more opaque machine and deep learning methods have been developed, proven to have superior predictive performance compared to simpler machine learning models. Still, simpler bankruptcy prediction models are often preferred for use in practice due to the black box problem, encompassing reduced interpretability and trustworthiness.

In this thesis we explore the use of long short-term memory (LSTM) networks capable of utilizing sequential accounting data for bankruptcy prediction, while focusing on interpretability using the Shapley Additive Explanations (SHAP) framework. Further, to evaluate the predictive performance of the LSTM networks, we create a recurrent neural network (RNN) and a fully connected feed-forward neural network. The networks are trained on a real-world dataset of Norwegian small and medium sized enterprises (SME). The dataset consists of 212 020 unconsolidated financial statements from 2006–2019, used to construct 156 predictor variables. Only a small percentage of the financial statements (0.5665%) were classified as bankrupt in the period, meaning the dataset is severely imbalanced. To account for this, we implement a cost-sensitive learning strategy in the training of all the deep neural networks.

The LSTM network using a sequence of four accounting years and all features, obtained an AUC and a Brier score of 0.9288 and 0.0477, respectively. This was an increase of 5.56% in AUC and decrease of 65.36% in Brier score compared to the fully connected feed-forward neural network. Moreover, the LSTM network using a subset of 30 features and a sequence of four years achieved an increase of 1.74% in AUC compared to the RNN. This indicates that LSTM networks have higher predictive performance than the baseline neural networks. We further observed a decrease in predictive performance for each time step omitted from the LSTM networks, indicating that longer sequences of data better enables the LSTM networks to predict bankruptcy. To enhance model interpretability, we implement SHAP to explain individual predictions and to give insight into the general logic of the model. Moreover, we evaluate whether the learned behavior of the LSTM networks is consistent with economic theory and discuss the framework’s capabilities from a financial institution and decision-making perspective. Our findings suggest that SHAP increases the interpretability of deep neural networks, and therefore facilitates adoption of high-performing LSTM networks for bankruptcy prediction in the financial services sector.