From Data to Insights: Efficiently Visualizing Peer-Review Data in Computer Science Courses

Abstract

Denne oppgaven presenterer utviklingen og evalueringen av et Learning Analytics Dashboard for visualisering av fagfellevurderingsdata i datavitenskapelige fag gjennom Computer Science Assignment Management System (CSAMS). Etterhvert som fag vokser i størrelse sliter undervisere mer med å opprettholde kjennskapen til enkeltstudenter og med det mister de en viktig del av evalueringsprosessen. Hensikten med dashbordet var å kompansere for denne manglende delen ved å tilby effektiv innsikt i fagfel- levurderingsdataen. Ved bruk av en iterativ metodikk designet, implementerte og evaluerte vi dashbordet for å forbedre brukervennligheten og funksjonaliteten dens. Hovedmålet var å tilrettelegge for effektiv oversikt og innsikt i fagfellevurderingsdataen og dermed hjelpe med undervisere med å identifisere utfordringer i faget og for å få innsikt i kval- itetsproblemer med fagfellevurderingene med mål om å forbedre undervisningsresultatene. Det implementerte dashboardet har funksjonalitet for å identifisere utfordrende emner, stu- denter som sliter, studentens utvikling samt varsler om kvalitetsproblemer med fagfellevur- deringene. Ved å flytte applikasjonslogikken til databasen, kunne vi bruke databaseaggregeringsfunk- sjoner for å beregne gjennomsnittsscore i stedet for å flytte alle dataene til applikasjonen for å beregne scoren der. Dette økte ytelsen til dataaggregeringen betydelig ved å holde logikken nærmere dataene og dermed redusere ytelse overhead ved overføring av data. Evalueringen viste at dashbordet var verdifult for å få innsikt i fagfellevurderingsdataene og hjalp til med å identifisere problemer.

This thesis presents the development and evaluation of a Learning Analytics Dashboard for visualizing peer-review data in computer science courses using the Computer Science Assign- ment Management System (CSAMS). As courses grow in size, lecturers increasingly struggle to maintain personal relationships with students, losing a vital part of assessing student progress. The aim of the dashboard was to compensate for the missing personal assessment component by efficiently providing insights into peer-review data. Through an iterative approach, we designed, implemented, and evaluated the dashboard to enhance its usability and functionality. The primary objective was to enable educators to efficiently gain an overview and insight into peer-review data, thereby helping the identification of challenges in the course and in quality assurance of the peer-reviews, ultimately to enhance educational outcomes. The imple- mented dashboard has functionality to identify challenging topics, struggling students, student trajectory as well as alerts for quality problems with the peer-reviews. By moving application logic to the database, we could use database aggregations functions to calculate the average score as opposed to moving all the data to the application to calculate the score. This drastically increased the performance of the data aggregation by keeping the logic closer to the data thus reducing data transfer overhead. The evaluation found that the dashboard was valuable in gaining insight into the peer- review data and helped in identifying problems.