Design process behind an educational review system for student submissions -Applying knowledge from professional code reviews to an educational assessment setting

Abstract

Vurderingsressursene på NTNU er begrenset, tiltak som kan bidra til å effektivisere tiden brukt på vurdering er derfor verdifulle. 1. august 2022 trer en ny lov i kraft som krever at minst to sensorer skal samarbeide om vurderingen av hver eksamensbesvarelse. Denne lovendringen fører til en drastisk økning i behovet for effektiviseringen av vurderingsprosessene.

Hensikten med oppgaven er å komme opp med en design-idé til et vurderingsverktøy for studentkode. Dette verktøyet skal bygge på eksisterende vurderingsverktøy utviklet for bruk i utdanningssammenheng, samt låne teknikker fra verktøy for kodegjennomgang slik det er gjort i den profesjonelle programvareindustrien.

Det ble gjennomført en grundig undersøkelse av den tilsiktede bruken av et slikt verktøy, eksisterende vurderingsverktøy for utdanningsbruk og industrielle verktøy for kodegjennomgang. Deretter ble en sammenligning av karakteristikker ved brukssituasjonene og motivasjonene bak bruken av de to kategoriene av verktøy gjennomført for å identifisere funksjonalitet hos de eksisterende verktøyene som vil være nyttig å overføre til et verktøy designet for vårt bruksområde. Når vi til slutt fremmer et design-forslag for et vurderingsverktøy er det er informert forslag med tyngde på bakgrunn av disse analysene.

Bidraget fra oppgaven består av en konkret "sprint"-basert plan, hvis mål er å få på plass et brukbart vurderingsverktøy tidlig, deretter vil verdien inkrementelt øke for hver sprint-syklus. I tillegg bidrar oppgaven ved å fylle forskningsgapet på området, siden kartlegging av eksisterende kunnskap på området viste at denne konkrete bruken av kunnskapsoverføring fra industri til utdanningsfeltet ikke var dekket av eksisterende forskning.

Senior review resources for student submissions are limited at NTNU, measures which can streamline the review process are valuable. With a law change which requires at least two senior reviewers per exam submission taking effect from 1. August 2022, this need for streamlining will be even more pressing.

The goal is to present a design idea for a review tool, for student programming submissions, building upon the tools which are already developed for an educational use case by adopting techniques from how code inspection is done in the professional programming industry.

A thorough examination of our use case, the existing educational assessment solutions, and industrial review tools is conducted. Thereafter, comparisons between each use case are made to identify relevant features that are transferable to the proposed tool. These findings inform the report's final contribution, a design proposal for the tool.

The contribution consists of a concrete sprint-based plan for how the desired review tool should be developed to enable an early release of a viable product and maximize the usability gained from each sprint cycle. In addition contributes the paper by filling a gap in existing research in the field, as the background research showed that this use of knowledge transfer from industry to education, was not covered by existing research.