Efficient Authoring of Inline Gap Match Tasks for Digital Programming Exams

Abstract

Programmeringseksamener har tradisjonelt vært papirbasert, men med et skifte mot modernisering og utnyttelse av teknologi, gjennomføres nå mange eksamener digitalt. Dette gir mange muligheter for at programmeringsoppgaver kan være likere bruken i den virkelige verden ettersom datamaskiner nå kan brukes under eksamen. Noen spørsmålstyper på digitale eksamensplattformer kan være godt egnet for å lage gode oppgaver som tester programmeringsevner og kunnskap i programmering. Måten man lager noen av disse oppgavene på er imidlertid ikke ment for kodeoppgaver og gjør det derfor vanskelig. Denne masteroppgaven foreslår å lage en IT-gjenstand som kan gjøre denne prosessen mer brukervennlig og effektiv.

Den foreslåtte IT-gjenstanden ble designet og laget for å være en prototype-applikasjon for effektiv forfatting av dra-og-slipp fyll inn i manglende kode oppgaver. For å teste brukervennligheten sammenlignet med den nåværende prosessen ble den sammenlignet med det digitale eksamenssystemet som er i bruk ved NTNU, Inspera Assessment. Med oppgaver som er opprettet på IMS Question and Test Interoperability specification (QTI) formatet, kan de utveksles mellom systemer som støtter den samme versjonen. Derfor ble IT-gjenstanden utviklet for å raskt og effektivt la spørsmålsforfatteren opprette en dra-og-slipp fyll inn i manglende kode oppgave som kan eksporteres på QTI-formatet. Denne oppgaven kan deretter importeres til Inspera Assessment-plattformen og brukes på samme måte som en oppgave som er opprettet direkte i Inspera Assessment-grensesnittet. Ettersom IT-gjenstanden fulgte QTI spesifikasjonen for den gitte versjonen, kan den også være aktuell for andre lærings- eller vurderingsplattformer som bruker samme QTI-format.

For å avgjøre om den opprettede IT-gjenstanden hadde høyere brukskvalitet enn den nåværende prosessen ble et eksperiment utført. Seks deltakere som jobber med å lage programmeringsoppgaver for studenter ble rekruttert for å lage den samme dra-og-slipp fyll inn i manglende kode oppgaven med IT-gjenstanden og Inspera Assessment. Resultatene fra brukertesting og de gjennomførte intervjuer viser at IT-gjenstanden var en forbedring sammenlignet med dagens prosess i Inspera Assessment. Det tok kortere tid og det krevde langt færre handlinger for å fullføre den samme oppgavelagingen med IT-gjenstanden, og den hadde en høyere grad av brukskvalitet med hensyn til hastighet, effektivitet og tilfredshet. For å oppsummere foretrakk deltakerne å bruke den foreslåtte IT-gjenstanden fremfor Inspera Assessment for å lage den samme dra-og-slipp fyll inn i manglende kode oppgaven.

Programming exams have traditionally been paper-based, but with a shift towards modernization and utilization of technology, many exams are now conducted digitally. This provides many opportunities for programming tasks to be closer to real-world usage as the computer can now be used during the exam. Some question types on digital exam platforms can be well-suited for good tasks to test programming skills and knowledge. However, the creation process for some of these tasks are not intended for code tasks and are therefore difficult to make. This thesis proposes to create an IT artefact that could make this process more user friendly and effective.

The proposed IT artefact was designed and created to be a prototype application for efficient authoring of drag-and-drop fill in missing code tasks. To test the usability compared to the current process it was compared with the question authoring system in use at NTNU, Inspera Assessment. With tasks created on the IMS Question and Test Interoperability specification (QTI) format, they are interchangeable between systems that support the same version. Therefore the IT artefact was developed to efficiently and effectively let the question author create a drag-and-drop fill in missing code task that could be exported on the QTI format. This task could then be imported into the Inspera Assessment platform and used in the same ways as a task created directly in the Inspera Assessment interface. As the IT artefact followed the QTI specification for the given version, it could also be applicable to other learning or assessment platforms that utilize the same QTI format.

To determine if the created IT artefact had a higher level of usability than the current process an experiment was conducted. Six participants that work with creating programming tasks for students were recruited to create the same drag-and-drop fill in missing code task with the IT artefact and Inspera Assessment. The results from the user testing and conducted interviews show that the IT artefact was an improvement in comparison to the current process in Inspera Assessment. It took less time and required far fewer action to complete the same question authoring process with the IT artefact, and it showed a higher level of usability in regards to the effectiveness, efficiency, and satisfaction. To summarize, the participants preferred to use the proposed IT artefact over Inspera Assessment to create the same drag-and-drop fill in missing code tasks.