Automatic question generation for JavaScript programming courses

Abstract

Ettersom utdanningssystemet har blitt stadig mer digitalisert og automatisert, har prosessen med å lage og vurdere oppgaver stort sett forblitt den samme. Lærere bruker verdifull tid og ressurser på å lage og vurdere oppgaver, quizer, innleveringer og andre former for evalueringer. Dette blir spesielt et problem etterhvert som antall studenter i et emne øker, som ytterligere øker arbeidsmengden for lærerne. For å oppnå sine læringsutbytte-mål kan studenter også ha ønske om å ha tilgang til en større mengde og variasjon av oppgaver enn det som er tilgjengelig. Utviklingen av teknologi for automatisk generering av variantoppgaver gjør det mulig å enkelt generere et stort antall relevante oppgaver, som tillater lærere å spare ressurser og for studenter å få kontinuerlig tilgang til nye oppgaver.

Dette prosjektet beskriver utviklingen av et verktøy for generering av variantoppgaver laget for å generere programmeringsoppgaver spesielt rettet mot JavaScript emner. Målet med å utvikle dette verktøyet er å lage et produkt som kan bli brukt ved universiteter og for å evaluere hvor effektivt et slikt verktøy er for å forbedre læringsutbytter i programmeringskurs. Gjennom et eksperiment for å evaluere verktøyet ble det funnet at deltakerne oppnådde en betydelig forbedring i læringsutbytter etter å ha brukt verktøyet en kort økt. Resultatene viste også at verktøyet var like effektivt for å forbedre læringsutbytter for både nybegynnere og videregående programmerere.

With the education system becoming increasingly digital and automated, the process of creating and grading assignments or practice questions has largely remained the same. Teachers are required to use valuable time and resources creating and grading assignments, exercises, quizzes and other forms of evaluations. This increasingly becomes an issue as the number of students in a course becomes larger, which further increases the workload. In order to reach their learning outcome goals, students might also wish for a larger quantity and variation of practice questions than are made available in the course. The development of automatic question generation technology makes it possible to easily generate a large number of relevant questions, allowing teachers to save resources and for students to have access to a continuous supply of questions.

This thesis explores the development of a question generation tool made for generating programming questions specifically for JavaScript programming courses. The goal of developing this tool is to create an artifact that might be used at universities and to evaluate how effective question generation tools are at improving learning outcomes in programming courses. Through an experiment evaluating the tool, it was found that the participants achieved a significant improvement in learning outcomes after using the tool for a short session. The results also showed that the question generation tool was just as effective in improving learning outcomes for both beginner and intermediate programmers.