Supporting Digital Assessment with Side-by-Side Comparison

Abstract

I høyere utdanning øker arbeidsmengden for sensorer som retter eksamener. Det blir flere studenter som tar høyere utdanning, evalueringer må bli gjennomført innen en gitt frist, noen fag har mangel på sensorer og retteprosessen er tidkrevende i seg selv. Evalueringene forventes å være presise og av høy kvalitet, for å sikre at de gjenspeiler studentenes kunnskapsnivå. Disse faktorene skaper mye press for sensorene. I tillegg er flere interessenter avhengig av å ha evalueringer som en del av utdanningen, som betyr at vurderinger er uunngåelige. Det er derfor ønskelig å effektivisere vurderingsprosessen gitt at den forblir konsistent. Denne masteroppgaven utforsker alternative vurderingsmetoder som kan støtte effektiviteten og konsistensen i avgjørende, skriftlige eksamener på digitale plattformer i høyere utdanning.Hovedkonseptet er Side-by-side comparison (side-ved-side-sammenligning) som viser flere eksamensbesvarelser samtidig. Besvarelsene er fra forskjellige studenter, men tilhører samme oppgave. Dette gjør at sensorer kan enkelt sammenligne besvarelsene, raskt etablere en baseline for forventet kunnskapsnivå, og gjennomføre vurderingene.

For å evaluere konseptet og få domenekunnskap ble det gjennomført intervjuer med sensorer i høyere utdanning. Intervjuene avdekket at det er behov og rom for støtte innen digitale vurderingsverktøy. Flere av intervjuobjektene hadde laget egne systemer for å forbedre vurderingsprosessen. Når det gjelder Side-by-side comparison, mente intervjuobjektene at konseptet kunne øke konsistensen, men at det var avhengig av andre faktorer. Disse faktorene inkluderer forberedelse, hvilke svar som vises sammen og type og nivå på faget.

Funnene fra evalueringen indikerte et behov for ytterligere forskning for å forbedre vurderingsprosesser. Resultatene kan brukes som et utgangspunkt for videre utforskning av sensorers vurderingsprosesser og inspirere til utvikling av alternative vurderingsmetoder.

In higher education, there is an increasing workload for markers assessing exams. A growing number of students are enrolled in higher education, assessments must be finished within a time limit, some subjects already have a shortage of markers, and the assessment process is time-consuming. The evaluations are expected to be precise and fair, ensuring they reflect the students' true knowledge. These factors can create a high-pressure environment. In addition, multiple stakeholders depend on having evaluations as a part of the education, meaning that assessments are inevitable. Thus, it is desirable to support the assessment process by making it more efficient while remaining consistent.

This thesis explores alternative assessment methods to support efficiency and consistency in high-stake, written exams on digital platforms in higher education. The concluding concept is the Side-by-side comparison, which displays multiple exam answers simultaneously. The answers are from different students on the same task in the exam. Then, the marker can easily compare the answers, establish a baseline for the expected knowledge level, and conduct the assessments.

To evaluate the concept and gain domain knowledge, interviews with markers in higher education were conducted. They revealed a need and room for support within digital assessment tools. Multiple interviewees had made their own systems to improve the assessment process. Regarding the Side-by-side comparison, the interviewees thought it could increase consistency, but it depended on other factors. These factors include preparation, subject level, and which answers are displayed together.