Does sequence affect grades? A quantitative analysis of graded Python source code and their relative position in a sequence.
Abstract
Målet med denne masteroppgaven var å undersøke forholdet mellom sekvensen (dvs.rekkefølgen på presentasjonen) av IT-studenters eksamensinnleveringer (dvs. Pythonkildekode) og gitte karakterene i tertiær utdanning. Etter at studenter har levert besvarelsene til en eksamen, gir en profesjonell sensor besvarelsene en karakter i en gitt sekvens. Denne oppgaven undersøker om forskjellige permutasjoner av sekvenser har noen innvirkning på karakterene, og hvis en optimal sekvens (dvs. optimal permutasjon) øker verdier slik som fairness, validity og reliabilitet i form av inter-rater og intra-rater reliabilitet. Det andre målet med denne oppgaven var å skape en prototype som automatiserer genereringen av optimale sekvenser gitt et sett med kildekoder.
Vitenskapelig litteratur om psykologi og utdanning viser at monotont arbeid over enbetydelig periode reduserer menneskers evne til å utføre arbeid og skaper irrasjonalitetog ugyldighet. Denne masteroppgaven bruker kvantitative data fra digitale eksameneri IT-faget TDT4127 ved Norges teknisk-naturvitenskapelige universitet (NTNU) i formav Python-kildekode for å utføre 3 forskjellige eksperimenter (Eksperiment 1: N = 10,Eksperiment 2: N = 40, Eksperiment 3: N = 0).
Resultatene fra denne oppgaven antyder at det ikke var noen signifikant sammenheng mellom den uavhengige variabelen sekvens og den avhengige variabelen karakter ettersom ingen signifikante effekter ble observert. Dette innebærer imidlertid ikke en direkte antydning om at det ikke eksisterer noe forhold i det hele tatt. Uavhengig av disse resultatene er den foreslåtte prototypen dokumentert i detalj, og resultatenefra de gjennomførte eksperimentene antyder at den er i stand til å generere optimale(som definert i denne oppgaven) -sekvenser rent basert på kildekode. Denne oppgavenpresenterer også sterke antydninger til at bruken av Greedy-String-Tiling for å beregnelikheten mellom kildekode ligner på menneskelige målinger av likhet. The aim of this master thesis was to investigate the relationship between the sequence(i.e order of presentation) of computer science student’s submissions (i.e Python sourcecode) and their given grades in tertiary education. After students submit their exam answers,a professional rater grades these submissions in a specific sequence. This thesisinvestigates if different permutations of this sequence has any effect on the grades andif an optimal sequence (i.e optimal permutation) increase values such as fairness, validityand reliability in the formof inter-rater and intra-rater reliability. The second goal ofthis thesis was to provide a prototype to automate the generation of optimal sequencesgiven a set of source codes.
Scientific literature on psychology and education shows that monotonic work overa significant period of time decreases a humans ability to perform and increases irrationalityand invalidity. This study utilize quantitative data from digital exams in thecomputer science course TDT4127 at the Norwegian university of science and technology(NTNU) in the form of Python source code to conduct 3 different experiments(Experiment 1: N = 10, Experiment 2: N = 40, Experiment 3: N = 0).
The results from this thesis suggests that there was no significant relationship betweenthe independent variable sequence and the dependent variable grade as no significanteffects were observed. However, this does not directly imply that there is norelationship at all. Independently of these results, the suggested prototype is documentedin detail and the results of the conducted experiments suggests that it is ableto generate optimal (as defined in this thesis) sequences purely based on source codeas input. This thesis also provide a strong suggestion that using Greedy-String-Tilingto calculate the similarity between source code is similar to human measurements ofsimilarity.