Detecting Contract Cheating by using Stylometry and Keystroke Dynamics

Abstract

Utdanningssektoren er midt i en overgang til nye, digitaliserte måter å holde undervisning på. Med disse nye læringsformene, kommer nye måter å evaluere studentene på, for eksempel hjemmeeksamener over nettet eller større, skriftlige oppgaver. Tradisjonelle måter for å oppdage og forhindre juks, som eksamensvakter og hjelpemiddelkontroll, kan dermed ikke lenger benyttes. Når evalueringsmetodene av studentene endres, åpner dette også opp for nye måter studenter kan jukse på, eksempelvis kontraktjuksing. Kontraktjuksing referer til når en student får en tredjepart til å utføre arbeid på egne vegne, slik at studenten dermed blir vurdert basert på tredjepartens arbeid.

Dette prosjektet har undersøkt mulighetene for å oppdage om kontraktjuksing har funnet sted på en netteksamen. Til dette har prosjektet benyttet seg av tre forskjellige fremgangsmåter; bruk av stylometry, bruk av keystroke dynamics, og en tredje fremgangsmåte hvor en fusjon av stylometry og keystroke dynamics ble tatt i bruk. Tre ulike datasett har blitt brukt: ett datasett som kun inneholdt tekstdata, ett datasett som kun inneholdt keystroke-data, og et tredje sett som inneholdt både stylometry- og keystroke-data. Fremgangsmåten med stylometry ble benyttet på de to datasettene som inneholdt tekst og metoden med keystroke dynamics ble brukt på de to datasettene som inneholdt keystroke-data. Fremgangsmåten hvor keystroke-dynamics og stylometry ble kombinert ble benyttet på datasettet som inneholdt både tekst og keystroke-data. Systemet som tok for seg keystroke dynamics viste de beste resultatene. Her klarte systemet å oppdage 98.4\% av juksetilfellene, hvor bare 1.7\% av tilfellene ble feilklassifisert som juks. De beste resultatene fra stylometry-systemet viste en detekteringsrate på 95.1\%, hvor 5.3\% av ikke-jukserne ble feilaktig klassifisert. Det ble også gjennomført tester for å undersøke hvor mange tilfeller av juks det var mulig å oppdage uten å feilaktig beskylde noen studenter for juks. De beste resultatene fra disse testene kom fra en Aggregated Scores Fusion som klarte å oppdage 97.4\% av juksetilfellene uten å feilaktig klassifisere noen ikke-juksere.

As the education sector is transitioning into new, digitalized forms of teaching and conducting classes, so comes new forms of evaluating students. The evolution of technology opens up for examining students remotely, either by conducting traditional four hour exams or longer written assessments as online home exams. With these new, digitalized evaluation methods, traditional measures to counter cheating on exams can not always be applied, such as exam proctoring or exam aid controls. This transition also opens up for new ways to conduct academic dishonesty, such as contract cheating on remote exams or assessments. Contract cheating refers to when a student gets an obligatory exam, essay, or other assessment work completed by a third party on their behalf, which will then be submitted as if they have completed the work themselves.

This project aimed to detect if contract cheating has taken place in an online exam. Three different approaches for contract cheating detection were developed; one approach using stylometry, another approach using keystroke dynamics, and a third approach fusing stylometry and keystroke dynamics found place. Three different datasets were used in this research: one dataset containing only text data, another dataset containing keystroke data, and a third dataset that contained both text - and keystroke data. The stylometry approach was applied to the two datasets containing text, while the keystroke dynamics approach was applied to the two datasets consisting of keystroke data. The fusion approach was tested on the dataset consisting of both text and keystrokes. The keystroke dynamics method showed the best results, where the system was able to detect 98.4\% of the cheating cases, and wrongfully classifying only 1.7\% of the non-cheating cases. The best results from the stylometry approach showed a detection rate of 95.1\%, with a 5.3\% wrongful accusation rate of non-cheaters. Tests were also conducted to investigate how many cheaters the methods could detect without wrongfully accusing any genuine exam attempts. The best results from these tests came from an Aggregated Scores Fusion that was able to detect 97.4\% of the cheating cases without wrongfully classifying any non-cheating attempts.