Measuring the Effect of Recommender Systems in Online Video Learning Platforms: A Case Study with Utdannet.no

Abstract

Anbefalingssystemer er over alt i dagens samfunn. Deres nytteverdi gjør at de ser bruk i mange domener, fra søkemotorer, til handel, til utdanning. I dag finnes det mye billig, pålitelig teknologi, og dette har banet vei for e-læring og robuste systemer som presenterer gode læringsmaterialer. Men å evaluere nyanserte spørsmål om e-læring kan være vanskelig. I samarbeid med Utdannet utforsker denne avhandlingen personaliserte anbefalinger og deres effekt på brukerengasjement og tid brukt på Utdannet sin plattform.

For å undersøke denne effekten ble to A/B-tester utført. To forskjellige anbefalingsstrategier ble brukt for å måle klikkraten og dveleraten mellom de forskjellige strategiene.

Resultatene av eksperimentene er inkonklusive. Mangel på data, en for simplistisk modell, og en lav adopsjonsrate er hypotetiserte årsaker til hvorfor resultatet er som det er. Selv om ingen konklusjoner kan bli tatt, er det en signifikant forskjell i antall observasjoner mellom de forskjellige strategiene som ble brukt i hybridmodellen. På bakgrunn av dette anbefaler jeg mer forskning på mer tilpassede modeller, og en lengre eksperimentperiode.

Recommender systems are ubiquitous in today's society. Their utility makes them see use in a number of domains, from search engines, to commerce, to education. The advent of cheap, reliable technology has made way for e-learning and robust systems to facilitate the presentation of quality learning materials. But evaluating nuanced questions about the effects of personalised recommendation in the e-learning space can be difficult. In cooperation with Utdannet, this thesis aims to investigate the effect of personalised recommendations on user engagement and time spent on the Utdannet platform.

To investigate this effect, two live experiments were performed using A/B testing. Separated into groups, two recommendation models were employed to measure the CTR and a modified version of the dwell time metrics.

The results of the experiments were mostly inconclusive. Sparse data, a too simplistic model, and a low adoption rate are hypothesised causes as to why the results are indecisive. While no conclusions can be drawn, there is a clear discrepancy in the number of recorded observations between the strategies employed. As such, future work calls for a model that is better at producing recommendations with sparse data, and longer experiments.