Using Sentiment Analysis to Improve Course Recommendations for MOOCs

Abstract

Massive åpne nettkurs (MOOCer) har blitt brukt i e-læring det siste tiåret, og fremveksten deres eksploderte under COVID-19-pandemien. Nye kurs blir stadig tilgjengeliggjort, noe som gjør at studentene blir overveldet og sliter med å finne kurs som passer deres interesser. Dette, kombinert med at frafallet på MOOCer er 90%, gjør det enda viktigere for studentene å finne passende kurs. Som et resultat har anbefalingssystemer blitt utviklet for å redusere tiden som brukes på å finne kurs, ved å filtrere ut irrelevante kurs og anbefale de mest relevante til studentene. Disse systemene må imidlertid forbedres for å hjelpe studentene med å finne passende kurs og redusere frafallet fra MOOCer.

Nylig forskning innen andre fagområder viser at det å kombinere anmeldelser med tallvurderinger forbedrer anbefalinger. Målet med denne oppgaven er å adoptere denne ideen ved å utvikle et anbefalingssystem som inkorporerer sentiment fra kursanmeldelser i kursenes tallvurderinger. Sentimentene uthentes gjennom sentimentanalyse ved hjelp av en BERT-modell, og kombineres deretter med de opprinnelige tallvurderingene ved bruk av vekter. En rekke anbefalingsalgoritmer ble implementert for å analysere innvirkningen av de justerte tallvurderingene. Deretter ble anbefalingssystemet evaluert på COCO-datasettet, som inneholder 4,5 millioner kursanmeldelser.

Alle anbefalingsalgoritmene presterte noe bedre med de justerte tallvurderingene. Algoritmen med den største forbedringen var ALSImplicitMF, som forbedret sin nDCG-score med 1,54%. Imidlertid var algoritmene generelt dårlige sammenlignet med lignenede forskning, blant annet siden datasettet har få interaksjoner per student og kurs.

Massive Open Online Courses (MOOCs) have been used in e-learning over the last decade, and their emergence sparked during the COVID-19 pandemic. New courses are becoming available frequently, making the learners overwhelmed and struggling to find courses that align with their interests. Combined with the drop-out rate on MOOCs being 90%, this makes it even more critical for learners to find suitable courses. As a result, Recommender Systems have emerged to reduce the time spent searching by filtering out irrelevant courses and recommending the most relevant ones to learners. However, these systems must be improved to help learners find suitable courses to reduce the drop-out rate in MOOCs.

Recent works in other domains show that combining reviews with ratings improves recommendations. This thesis aims to adopt this idea by developing a Recommender System that incorporates sentiment from course reviews into Course Recommendations. The sentiment is extracted by performing Sentiment Analysis using a BERT model and combined with the original ratings using weights. A set of recommendation algorithms were implemented to analyze the impact of the adjusted ratings. Then, the Recommender System was evaluated on the COCO dataset, containing 4.5M course reviews.

Ultimately, all the recommendation algorithms performed slightly better with the adjusted ratings. The algorithm with the most significant improvement was ALSImplicitMF, which improved its nDCG score by 1.54%. However, the overall performances of the algorithms were poor compared to related research, partly because of the sparsity of the dataset.