Predicting Credit Card Activity for Passive Customers

Abstract

Passive kredittkortkunder er et stort problem for kredittbanker. Kunder som åpner kredittkortkontoer og enten aldri bruker kredittkortet, eller stopper å bruke det, er kostbare. I slike situasjoner tjener ikke bankene på kunden fra renter og må i tillegg dekke utgifter for å holde kontoen åpen, til tross for at den ikke brukes. Målet med denne oppgaven er å bygge modeller for å predikere om passive kunder kommer til å forbli passive eller gå over til å bli aktive innen ett gitt antall måneder. Dermed er dette et binært klassifiseringsproblem hvor responsen er enten "passiv" eller "aktiv". Modellene ble bygget og optimalisert basert på et ubalansert datasett, som besto av historisk data av kundenes tidligere kredittkortbruk, levert av Sparebank 1 Kreditt AS. I tillegg til å evaluere hvor godt modellene predikerer, vil også de forskjellige variablenes påvirkning på responsen bli vurdert for å få bedre innsikt i hvilken type kunder som har størst sannsynlighet til å bli aktive.

Logistisk regresjon og adaptive boosting (AdaBoost) var de to læringsmetodene valgt til å bygge klassifiseringsmodellene i denne oppgaven. Logistisk regresjon ble hovedsakelig valgt for å ha et referanseresultat, i tillegg til at det er en metode som generelt presterer bra og er lett å tolke. AdaBoost ble valgt på bakgrunn av at det er en velkjent boosting teknikk som har blitt vist å gi gode resultater i lignende studier. Logistisk regresjon ble anvendt for å predikere en, tre, seks og tolv måneder frem i tid, mens AdaBoost ble brukt for å predikere en og tolv måneder frem. Hyperparametere til AdaBoost ble optimert for å forbedre modellenes ytelse. Et innledende screeningseksperiment ble gjort med forsøksplanlegging, og ytterligere optimering ble gjort ved hjelp av responsoverflatemetodikk. For å evaluere modellene var det hovedsakelig balansert nøyaktighet (BACC) som ble brukt, men sensitivitet ble også brukt for å vurdere hvor godt modellene klarte å klassifisere kundene som ble aktive. Etter optimalisering av modellene ble variablenes betydning utforsket basert på relativ innflytelse og Shapley verdier.

Den logistiske regresjonsmodellen som ble brukt til å predikere en måned frem i tid oppnådde en BACC-score på 0.6181 med cutoff = 0.5, som ble forbedret til 0.6486 etter optimalisering av cutoff-verdien. For den logistiske modellen som predikerte tolv måneder frem, økte BACC-score fra 0.5717 til 0.6362 med optimal cutoffverdi. Med AdaBoost økte BACC-verdien for modellen som predikerte én måned frem fra 0.6018 til 0.6859 etter optimering av hyperparametrene, og modellen for tolv måneder frem oppnådde en BACC-verdi på 0.6779 med optimaliserte hyperparametre mot 0.5102 med standardverdier. Dermed, ble den generelle ytelsen til alle modellene forbedret med optimaliserte cutoff- og hyperparameterverdier, i tillegg til å øke deres sensitivitetsverdi, dvs. evnen til å klassifisere aktive kunder korrekt.

Passive credit card customers, or dormant accounts, are a great problem for banks. Customers who open credit card accounts and either never use them or stop using them are costly, as then, the banks do not earn from interests and must cover the expenses of keeping the accounts open. This thesis's main objective is to build models to predict if passive customers will stay passive or become active within a given number of months. Thus, the problem at hand is a binary classification task where the response is either "passive" or "active". The models were constructed and optimized based on an imbalanced data set, which consisted of historical data of the customers' credit card use, provided by Sparebank 1 Kreditt AS. In addition to evaluating the models' predictive performance, the impact of unique features on the response was also considered to gain insight into which type of customers are more likely to become active.

Logistic regression and adaptive boosting (AdaBoost) were the two learning methods chosen to build the classification models used in this thesis. Logistic regression was chosen to have a benchmark result, in addition to being a well-performing and easily interpretable method. AdaBoost was chosen because it is a well-established boosting technique and has been shown to produce good results in similar studies. Logistic regression was applied to predict one, three, six and twelve months ahead in time, while AdaBoost was used to predict one and twelve months ahead. Hyperparameters of AdaBoost were tuned to improve the models' performance. An initial screening experiment was done with design of experiments, and further tuning was done through response surface methodology. Balanced accuracy was the primary metric used to evaluate the models, but sensitivity was also used to assess the models' ability to correctly classify active customers. After optimizing the models, variable importance was explored based on relative influence and Shapley values.

The logistic regression model used to predict one month ahead obtained a BACC score of 0.6181 with cutoff =0.5, which was improved to 0.6486 after optimizing the cutoff value. For the logistic model which predicted twelve months ahead, the BACC score increased from 0.5717 to 0.6362 with optimal cutoff value. With AdaBoost, the BACC score of the one month ahead model increased from 0.6018 to 0.6859 after tuning the hyperparameters, and the twelve months ahead obtained a BACC score of 0.6779 with tuned hyperparameters versus 0.5102 with default values. Thus, optimized cutoff and hyperparameter values improved the overall performance of all models, in addition to increasing their sensitivity value, i.e., the ability to classify active customers correctly.