Does sequence affect grades? A quantitative analysis of graded Python source code and their relative position in a sequence.

Abstract

Målet med denne masteroppgaven var å undersøke forholdet mellom sekvensen (dvs. rekkefølgen på presentasjonen) av IT-studenters eksamensinnleveringer (dvs. Pythonkildekode) og gitte karakterene i tertiær utdanning. Etter at studenter har levert besvarelsene til en eksamen, gir en profesjonell sensor besvarelsene en karakter i en gitt sekvens. Denne oppgaven undersøker om forskjellige permutasjoner av sekvenser har noen innvirkning på karakterene, og hvis en optimal sekvens (dvs. optimal permutasjon) øker verdier slik som fairness, validity og reliabilitet i form av inter-rater og intra-rater reliabilitet. Det andre målet med denne oppgaven var å skape en prototype som automatiserer genereringen av optimale sekvenser gitt et sett med kildekoder.

Vitenskapelig litteratur om psykologi og utdanning viser at monotont arbeid over en betydelig periode reduserer menneskers evne til å utføre arbeid og skaper irrasjonalitet og ugyldighet. Denne masteroppgaven bruker kvantitative data fra digitale eksamener i IT-faget TDT4127 ved Norges teknisk-naturvitenskapelige universitet (NTNU) i form av Python-kildekode for å utføre 3 forskjellige eksperimenter (Eksperiment 1: N = 10, Eksperiment 2: N = 40, Eksperiment 3: N = 0).

Resultatene fra denne oppgaven antyder at det ikke var noen signifikant sammenheng mellom den uavhengige variabelen sekvens og den avhengige variabelen karakter ettersom ingen signifikante effekter ble observert. Dette innebærer imidlertid ikke en direkte antydning om at det ikke eksisterer noe forhold i det hele tatt. Uavhengig av disse resultatene er den foreslåtte prototypen dokumentert i detalj, og resultatene fra de gjennomførte eksperimentene antyder at den er i stand til å generere optimale (som definert i denne oppgaven) -sekvenser rent basert på kildekode. Denne oppgaven presenterer også sterke antydninger til at bruken av Greedy-String-Tiling for å beregne likheten mellom kildekode ligner på menneskelige målinger av likhet.

The aim of this master thesis was to investigate the relationship between the sequence (i.e order of presentation) of computer science student’s submissions (i.e Python source code) and their given grades in tertiary education. After students submit their exam answers, a professional rater grades these submissions in a specific sequence. This thesis investigates if different permutations of this sequence has any effect on the grades and if an optimal sequence (i.e optimal permutation) increase values such as fairness, validity and reliability in the formof inter-rater and intra-rater reliability. The second goal of this thesis was to provide a prototype to automate the generation of optimal sequences given a set of source codes.

Scientific literature on psychology and education shows that monotonic work over a significant period of time decreases a humans ability to perform and increases irrationality and invalidity. This study utilize quantitative data from digital exams in the computer science course TDT4127 at the Norwegian university of science and technology (NTNU) in the form of Python source code to conduct 3 different experiments (Experiment 1: N = 10, Experiment 2: N = 40, Experiment 3: N = 0).

The results from this thesis suggests that there was no significant relationship between the independent variable sequence and the dependent variable grade as no significant effects were observed. However, this does not directly imply that there is no relationship at all. Independently of these results, the suggested prototype is documented in detail and the results of the conducted experiments suggests that it is able to generate optimal (as defined in this thesis) sequences purely based on source code as input. This thesis also provide a strong suggestion that using Greedy-String-Tiling to calculate the similarity between source code is similar to human measurements of similarity.