Using Generative AI to Optimize Feedback Systems in Student-Dense Programming Courses

Abstract

Generativ KI har hatt en enorm innvirkning på livene våre de siste årene. Teknologien gir muligheter i ulike sektorer av samfunnet – spesielt utdanning. Produkteieren vår er ansvarlig for et studenttett programmeringsemne og sliter med å gi tilstrekkelig tilbakemelding og å spore studentenes fremgang. Som et resultat ble vi bedt om å utvikle et system for å effektivisere tilbakemeldingsmekanismer for studenter. Målet var å gjøre storskala undervisning mer effektiv og personlig, i tillegg til å vurdere hvordan systemet kunne skaleres på tvers av ulike emner.

Denne oppgaven tar sikte på å identifisere hvordan generativ KI kan brukes til å forbedre tilbakemeldings- og vurderingsprosesser i studenttette programmeringsemner i høyere utdanning. Ved å blant annet gjennomføre intervjuer med 21 forelesere fra 6 universiteter i Norge, fikk vi en omfattende forståelse av deres tanker og meninger angående integrering av generativ KI i norsk høyere utdanning. Denne innsikten påvirket kravene til vår Minimal Viable Product – LAiLA – et KI-drevet vurderingssystem laget for å minimere forelesernes arbeidsmengde og forbedre studentprestasjoner. Systemet vårt eksemplifiserer hvordan generativ KI kan integreres i tilbakemeldings- og vurderingsprosesser i høyere utdanning.

Generative AI has had a huge impact on our lives in recent years. The technology presents opportunities in various sectors of society – especially education. Our product owner manages a student-dense programming course and struggles to provide timely feedback, and to track student progress. As a result, we were requested to develop a system for effectivizing student feedback mechanisms. The goal was to make large-scale teaching more effective and personalized, in addition to assessing how the system could scale across university courses.

This thesis aims to identify how Generative AI can be used to improve feedback and assessment processes in student-dense programming courses in higher education. Through insight gathering, including conducting interviews with 21 lecturers from 6 universities in Norway, we gained a comprehensive understanding of our users’ thoughts and opinions regarding Generative AI integration in Norwegian higher education. These insights influenced requirements for our Minimal Viable Product – LAiLA – an AI driven assessment system created to minimize lecturer workload and improve student performance. Our system exemplifies how Generative AI can be integrated into feedback,- and assessment processes in higher education.