Enhancing Online Lecture Recommendations Through Exploration of Student Behaviour Across Topics

Abstract

Tilgangen til gratis, nettbasert utdanning av høy kvalitet har økt globalt, men i MOOCs er det fortsatt bekymringsfullt at mange elever faller fra undervies. Studenter som lykkes, lærer ofte på en selvstrukturert og kontrollert måte, noe som kommer til uttrykk ved at de oftere går gjennom læringsmaterialet som en del av sine Selv-Regulerte Læringsstrategier. Til tross for at repitisjon er viktig, er det ikke vanlig at studentene repeterer læringsressursene så ofte. Ettersom video forelesninger har vært en viktig læringsressurs for teknologi-basert læring (Technology-Enhanced Learning (TEL)), har det vært av interesse hvordan brukerne interagerer med videoene. Deres video-interaksjonsmønstre har vist seg å korrelere med studentenes prestasjoner, frafall og opplevd vanskelighetsgrad. Forskningen har imidlertid i hovedsak bare tatt for seg noen få emner, ofte relatert til datateknologi, noe som åpner for spørsmål angående video-interaksjonsmønstres generelle anvendelighet. Det smale emnefokuset har i stor grad også vært tilfelle for anbefalingssystmer (RS) for læringsressurser, der kontekstualisert, sekvensiell studentatferd ikke er blitt utforsket. Derfor foreslår denne oppgaven et anbebalingssystem modellert på sekvensiell data (Sequence Aware Recommendation System (SARS)) og som tar hensyn til både video-interaksjonsmønstre og temaene diskutert i video forelesninger, for å forbedre kvaliteten på nettbaserte forelesningsanbefalingssystemer på tvers av forskjellige emner. I tillegg ble repitisjon av video forelesning analysert på tversav på tvers av ulike emner. Konkret undersøkes video-interaksonsmønstre sin evne til å predikere hvorvidt en videoforelesning vil bli sett på nytt eller ikke. Til slutt undersøkes til hvilken grad anbefalingssystemer stemmer overens med brukernes repitisjonsmøn- stre, for å kvantifisere i hvilken grad anbefalinger kan påvirke repitisjonsatferd. Eksperimentene viser en statistisk signifikant forbedring i nøyaktigheten av forelesningsanbefalingene ved hjelp av video-interaksjonsdata og relaterte forelesningstemaer. Videre viser analysen av repitsjonsatferd at det er viktig å ta hensyn til forelesningers iboende egenskaper når det gjelder video- interaksjonsatferd, og resultatene fremhever forskjeller i seer- og gjenbesøksatferd på tvers av temaer. Prediksjon av repitisjon basert på vidoe-interaksjonsmønstre er imidlertid lovende. Til slutt illustrerer den innovative analysen av anbefalingssystemers kalibreringsevne for repitisjonspreferanser at sekvens-baserte modeller kan skille mellom studentenes individuelle repitisjonsmønstre, noe som gir en mer personlig tilpasset og kalibrert læringsopplevelse.

The availability of free, quality online education has increased globally; however, learner re- tention and dropout rates remain concerning in Massive Open Online Courses (MOOCs). Successful learners often exhibit self-structured and controlled learning, demonstrated by their more frequent review of course material as part of Self-Regulated Learning (SRL) strategies. Despite its importance, learners do not generally revisit course material frequently. As video lectures have been an important learning resource for Technology-Enhanced Learning (TEL), how users interact with the videos has been of interest. The viewing behaviours have been shown to correlate with student performance, dropout rates and perceived difficulty. How- ever, research has mainly considered only a few educational topics, often related to Computer Science (CS), leaving questions regarding the general applicability in-video viewing behaviour unanswered. The narrow topic focus has largely been the case for learning resource Recommendation Systems (RSs) as well, where considering contextualised, sequential student behaviour is left unexplored. Therefore a Sequence Aware Recommendation System (SARS) which considers both in-video viewing behaviour and learning resource topics is proposed for improving online lecture re-commendation quality across educational domains. Furthermore, an analysis of lecture re-consumption across diverse topics is conducted. In particular, the predictive power of in-video viewing behaviour for predicting lecture revisits is explored. Lastly, to which degree Recommendation Systems are aligned with users’ re-consumption behaviour is examined to quantify to which extent recommendations may influence reviewing behaviour. These experiments establish a statically significant improvement in lecture recommendation accuracy using in-video viewing behaviour and related lecture topics. Furthermore, the analysis of revisiting behaviour indicates the importance of considering lectures’ intrinsic properties for viewing behaviour, where the results highlight differences in in-video viewing and revisiting behaviour across educational topics. However, re-consumption prediction using in-video viewing features shows promise. Lastly, the novel re-consumption alignment analysis illustrates sequence-aware mod- els’ ability to distinguish individual re-consumption behaviour, providing a more personalised and calibrated learning experience.