System for gamification of lab work in TDT4100

Abstract

Å lære nye programmerisngsspråk kan være vanskelig, og å gi riktig mengde tilbakemelding kan være utfordrende, spesielt i et stort kurs som TDT4100 med 835 registrerte studenter for øvingsopplegget i 2019. Flere kilder for tilbakemelding er derfor velkomen og spillifisering har vist gode resultater tidligere, men et slikt system er nødt til å bli implementert skikkelig og virker ikke i alle situasjoner.

Denne studien består av å skape et system for å spillifisere øvingsopplegget i TDT4100 og teste brukervennligheten til dette systemet. Systemet som er lagd fokuserte på å løse tekniske utfordringer knyttet til utvidbarhet og konfigurerbarhet for å kunne lettere teste effekten av forskjellige kodemetrikker og belønninger. Brukbarhetstestingen ble gjennomført ved hjelp av automatisk overvåkning av brukerenes interaksjon med systemt og ved hejelp av en spørreundersøkelse. Denne studien benyttet seg av en større prøvegruppe enn tidligere forskningin på området, da denne i stor grad har fokusert på undersøkelser av kvalitativ data fra tilbakemeldinger om design og spesifikke metrikker.

Eksperiementet med testen av systemet hadde mange deltagere, men færre enn forventet fullførte buksmålene til systemet. Resultatene fra undersøkelsen og den oppsamlede brukerdataen avdekket en lav grad av brukbarhet. Individuell analyse av spørsmålene fra SUS spørreskjemaet viste også at den opplevde nytten til systemet var lav.

Systemet oppnådde en høy grad av utvidbarhet ved å la systemadministratorer velge og kombinere metrikker for hvilken som helst øving i tillegg til å velge kriterier for individu elle merker. Nye metrikker var også lett å legge til og hardkodede metrikker kunne bli gjenbrukt og kombinert med hverandre for å lage sammensatte metrikker.

Learning new programming languages can be difficult and giving the right amount of supervision can be a challenge, especially in large courses like TDT4100 with up to 835 registered students for lab work. Additional sources of feedback are therefore welcome and gamification in educational contexts has shown promising results in the past, but has to be carefully implemented and does not work in every situation.

This study consist of creating a system for gamifying TDT4100 and testing the usability of that system. The created system focused on the technical challenges of creating an extensible and configurable system for easier testing of effective metrics and rewards. Usability testing was achieved with automatic monitoring of user interaction and a voluntary survey. The study utilized a larger sample size than earlier research on gamifying TDT4100, as the previous research focused on qualitative data on feedback of design and specific metrics.

The experiment testing the system had a large number of entrants, however, fewer than expected completed the usage objectives within the system. The results from the survey and the collected usage data revealed a low degree of usability and individual analysis of the questions from the SUS questionnaire showed a low perception of the system's usefulness.

The system achieved a high level of extensibility by enabling system administrators to choose and combine measures for any exercise in addition to choose criteria for individual achievements. New measures were also easy to add and hard-coded measures could be reused when combined with each other to create composite measures.