Exploration of Automatic Quality Assurance of Code Reviews

Abstract

Denne masteroppgaven vil gå inn i forskningen omgående kvalitetssikringen av kode anmeldelser for å lage en effektiv måte for lærere og lærerassistenter til å vite kvaliteten av kode anmeldelser som studenter skriver. Med en mangel på forskning i området går jeg inn uten mye forkning å refere til, og for å finne forskjellen mellom hvor godt en ekspert og kunstig intelligens sammenlignes når det kommer til kvalitativt rangering av kode anmeldelser, må jeg lage et rangeringsprogram som AIen kan integreres i. Med hjelp av en ekspert og ChatGPT klarer jeg å skaffe meg to sett med kvalitativt rangerte kode anmeldelser som jeg kan bruke for å trene en tekstklassifisering maskinlæringsmodell. Med bruk av denne modellen klarer jeg å få tak i forutsigelser på hvor godt eksperten og ChatGPT klarer å konsekvent rangere kode anmelderlser basert på kvalitet. Men før jeg ser på resultatene lager jeg også noen tilfeldige forutsigelser for å ha som ekstra sammenligning. Resultaten av denne dataen viser at ChatGPT er mer uåplitelig enn eksperten, og de tilfeldige forutsigelsene viser at eksperten og ChatGPT er begge mindre konsistent enn den tilfeldige dataen.

This thesis will delve into the research of quality assurance of code reviews in higher education in order to create an efficient way for teachers and teaching assistants to know the quality of the code reviews that students are writing. With a lack of research into the area, I go in without much research to reference, and in order to get the difference of how well experts compare to Artificial Intelligence when it comes to qualitatively ranking reviews, I have to make a ranking program that the AI can be integrated into. With the help of an expert and ChatGPT, I am able to get two sets of qualitatively ranked code reviews which I use to train a Text Classification Machine Learning model. Using this model, I am able to get predictions on how well the expert and ChatGPT are able to consistently rank reviews based on quality. But before I look into the results, I also create some random data predictions to have as some extra comparison. The result of this data shows that ChatGPT is more unreliable than the expert, and the random data shows that the expert and ChatGPT are less consistent in accuracy than the random data.