Detecting contract cheating with behavioural biometrics

Abstract

Mange eksamener og andre innleveringer på universiteter blir gjennomført hjemmefra uten noen form for fjern-autentisering. Som en konsekvens av den pågående koronapandemien har antall hjemmeeksamener økt sammen med risikoen for flere tilfeller av kontrakt-fusk. Kontrakt-fusk er når en person tillater en tredjepart å fullføre et stykke arbeid for seg, for så å levere det inn som om vedkommende har gjort det selv. Kontrakt-fusk er blitt en stor trussel mot den akademiske integriteten. Den nåværende løsningen for fjern-autentisering er ikke tilstrekkelig til å avsløre denne typen fusk.

Denne oppgaven undersøkte atferdsmessig biometri som en løsning på autentisering av studenters hjemme-eksamener og innleveringer. To typer atferdsmessig biometri ble undersøkt, stylometri og tastetrykk dynamikk. Denne oppgaven brukte to tidligere implementerte modeller i analysen, én stylometri modell og én tastetrykk-dynamikkmodell. En tredje modell ble implementert som også påtok seg stylometrianalyse. Denne modellen brukte fastText biblioteket til å representere ord og klassifisere tekstene. Til slutt ble stylometrianalyse og tastetrykkanalyse kombinert for å nå frem til en endelig beslutning på om et forsøk var ærlig eller fusk. Et bredt antall kombineringsmetoder ble undersøkt og implementert både på beslutningsnivået og på numerikknivået.

Denne oppgaven viste at ved å kombinere individuelle modeller ble deres svakheter kompensert av styrkene til de andre. Fusjonsmodellene fikk altså bedre ytelse enn de individuelle modellene. I tillegg var fusjonsmodellene mer pålitelige ettersom det er vanskeligere å lure et multi-biometrisk system. Fusjonsmodellene på numeriknivået viste det beste potensialet for videre bruk i et ekte system som detekterer kontrakt-fusk. Den beste fusjons-metoden var random forest med en nøyaktighet på 85.5% uten noen falske anklager.

Numerous exams and other assessments in universities are being carried out from home without remote authentication. As a result of the ongoing corona pandemic, the number of home exams has increased and thus also the risk of contract cheating. Contract cheating is when a student allows a third party to complete a delivery on its behalf. This type of cheating poses a threat to academic integrity. The current solution to detect cheating is plagiarism checks, which is insufficient to disclose contract cheating.

This thesis aimed to investigate behavioral biometrics as a solution to verify the authenticity of students' remote deliveries. Two kinds of behavioural biometrics were examined, namely stylometry and keystroke dynamics. This thesis used two previously implemented models in the analysis, one stylometry model, and one keystroke dynamics model. A third model was implemented that also undertook stylometry analysis. Finally, the three individual models were combined to make the final decision on whether a student's attempt was honest or not. An extensive number of fusion methods were investigated and implemented both on the score and decision level.

This thesis showed that by combining individual models, their weaknesses were compensated by the strengths of the others. The fused models performed therefore better than the individual classifiers. The fusion schemes are also more reliable as it is harder to bypass a multi-biometric system and spoof multiple biometrics. The fusion methods at the score level showed the best potential to be used in a real system that detects contract cheating. The best fusion method was a random forest with an accuracy of 85.5% without any cheating accusations.