Improved method of creating automatically assessed diagram problems for exams

Abstract

De siste årene har det blitt mer digitalisering av eksamener for informatikkfag, med bruk av systemer for elektronisk vurdering slik som Inspera Assessment. Tradisjonelt har eksamensoppgaver blitt manuelt vurdert av lærere og professorer, men det er en rekke potensielle fordeler ved å bruke automatisk vurderte spørsmål. Flere av slike oppgavestyper er i bruk i dag, som for eksempel flervalgsoppgaver, men ikke alle oppgaver kan dekke pensum like godt.

For at lærere og professorer skal kunne lage automatisk vurderte oppgaver som i tilstrekkelig grad kan reflektere pensum, er det nødvendig med gode verktøy. Inspera Assessment samt lignende verktøy er foreløpig begrenset når det gjelder å lage oppgaver til programmering og diagrammer spesielt. Enten på grunn av mangel på funksjonalitet, eller lav brukbarhet.

Målet med denne oppgaven var å utforske hvordan de nåværende verktøyene kan forbedres i forhold til laging av dra-og-slipp-oppgaver med bruken av Question and Test Interoperability specification (QTI) med diagrammer. En design- og utviklingsstrategi ble brukt til å utvikle et nytt verktøy som implementerte noen av de foreslåtte funksjonene som var antatt å kunne forbedre brukbarheten, med måling av ulike aspekter.

Et eksperiment ble utført for å evaluere verktøyet mot Inspera Assessment. En gruppe på fem deltakere fikk tilsvarende oppgaver å utføre i begge verktøyene, mens ulike datapunkter ble målt. I tillegg til de observerte dataene ble det også brukt spørreskjemaer og intervjuer. Med dataene generert fra eksperimentet, viste resultatet generelt sett en stor forbedring av prosessen av å lage automatisk vurderte diagramoppgaver.

In the recent years there has been more digitalization of exams for computer science subjects, with the use of e-assessment systems such as Inspera Assessment. Traditionally, exam questions have been manually graded by the teachers and professors, however there are a number of potential benefits of using automatically assessed questions. Several of these question types are in use today, such as multiple-choice, however not all syllabus can be covered.

In order for teachers and professors to create automatically assessed questions that could sufficiently reflect the syllabus, proper tools are necessary. Inspera Assessment as well as similar tools are currently limited when it comes to creating questions for programming and diagrams in particular. Either because of lack of functionality, or simply having poor usability.

The aim of this thesis was to explore how the current tools could be improved in regards to the creation of drag-and-drop type of questions utilizing the Question and Test Interoperability specification (QTI) with diagrams. A design and creating research strategy was used to develop a new tool implementing some of the suggested features thought to improve usability, with the metrics effectiveness, efficiency and satisfaction.

An experiment strategy was used to evaluate the tool against Inspera Assessment. A group of five participants was given equivalent tasks to perform in both tools, while various data points was measured. In addition to the observed data, questionnaires and interviews were used as well. With the data generated from the experiment, the result showed a high overall improvement to the process of creating automatically assessed diagram questions.