Web Session Modelling for Cluster Analysis and RNN-Based Sequence Prediction

Abstract

“Telenor Min Bedrift” (Telenor ASA, 2018) er nettsiden til en mobiloperatør for bedrifter. På denne nettsiden kan brukere opprette og ha oversikt over mobilabonnementer for sine bedrifter. Måten brukerne interagerer med nettsiden på gjennom sesjoner har en tendens til å forme sekvensielle mønstre. I denne oppgaven utforskes mønstrene inneholdt i sesjonene ved å anvende cluster-analyse og sekvens-prediksjon med Recurrent Neural Network (RNN). To ulike tilnærminger for cluster-analyse er brukt. Først opprettes en “topic model” gjennom Latent Dirichlet Allocation (LDA). Deretter opprettes embedding-representasjoner av interaksjonene ved bruk av word2vec. Videre clustres embedding-representasjonene av interaksjonene ved bruk av Hierarchical Density-Based Spatial Clustering of Applications with Noise (HDBSCAN). Ytelsen til den foreslåtte RNN-modellen måles ved bruk av forksjellige typer rekurrente lag. Arbeidet fortsetter ved å sammenligne RNN-modellens ytelse over henholdsvis lange og korte sesjoner. Til slutt måles hvordan RNN-modellen varierer i ytelse målt mellom hver interaksjon ved posisjon n innad i sesjonene. Resultatene fra cluster-analysen viser clustre som kan knyttes til brukeradferdsmønstre på nettsiden. Videre viser resultatene at RNN modellen oppnår gode resultater i oppgaven med å predikere neste interaksjon i sesjonene. Derimot er det lite forskjell i ytelse mellom å bruke Gated Recurrent Unit (GRU), bidireksjonal GRU, Long Short-Term Memory (LSTM) og bidireksjonal LSTM. Ytterligere resultater viser at RNN-modellen yter bedre over lange sesjoner sammenlignet med korte. I tillegg viser resultatene forskjell i ytelse mellom hver av interaksjonene ved posisjon n innad i sesjonene.

“Telenor Min Bedrift” (Telenor ASA, 2018) is the website of a mobile service provider for companies. On this website, the users can create and manage mobile subscriptions for their business. The way users interact with this website during sessions form sequential patterns. In this thesis, the sequential patterns contained in the sessions are explored by applying cluster analysis and sequence prediction with Recurrent Neural Network (RNN). Two different clustering methods are used. First, a topic model is created using Latent Dirichlet Allocation (LDA). Second, embeddings of the interactions contained in sessions are created using word2vec. The embedding representations of the interactions are then clustered using Hierarchical Density-Based Spatial Clustering of Applications with Noise (HDBSCAN). The performance of the RNN model is measured using different types of recurrent layers. The work continues by comparing how the RNN model performs on short sessions compared to long sessions. Lastly, the RNN model is evaluated based on how the performance of the predictions varies between each of the interactions at position n, inside each session. The result of the cluster analysis shows that the found clusters correspond to user behavior patterns on the website. Further, the results show that the RNN model is able to perform well at predicting the next interactions in the sessions. However, there is little difference in performance between using Gated Recurrent Unit (GRU), bidirectional GRU, Long Short-Term Memory (LSTM) and bidirectional LSTM. More, the RNN model performs better on long sessions compared to short sessions. Moreover, the results show differences in performance between each of the interactions at position n inside the sessions.