Mimicking the Student: A Feature-Based Approach for Detecting AI-Generated Texts and Verifying Authorship in Educational Settings

Abstract

Denne oppgaven undersøker hvordan avanserte språkmodeller basert på kunstig intelligens (KI) påvirker akademisk integritet, med fokus på kontraktsjuks. Etter hvert som AI-funksjonene i modeller som ChatGPT, Claude og Gemini utvikles, blir det stadig mer utfordrende å skille mellom studentskrevne og AI-genererte tekster. Målet med denne forskningen er å evaluere effekten av verktøy for å oppdage kunstig intelligens og bruken av studenters historiske skrivemønstre for å identifisere tekst som er generert av kunstig intelligens, med det formål å sikre integriteten til akademisk arbeid.

Forskningen benytter en funksjonsbasert tilnærming med flere maskinlærings-modeller for å identifisere forskjeller mellom menneskeskapte og AI-genererte tekster, med fokus på funksjoner som sentiment, lesbarhet, kompleksitet og skrivefeil. En funksjonsbasert tilnærming ble valgt som den foretrukne metoden på grunn av bedre tolkbarhet og forståelse av hva som førte til modellenes beslutninger.

Studien oppnådde høy nøyaktighet når det gjaldt å skille AI-genererte tekster fra menneskeskrevne tekster, og CatBoost- klassifikatoren presterte best med en F1-score på 0,9797. En analyse av viktigheten av funksjoner fremhevet bruken av avsnitt, stavefeil og grammatiske feil som viktige for modellenes beslutninger.

Den andre delen av studien fokuserte på å verifisere forfatterskap for å oppdage avvik fra studentenes kjente skrivestil. Tilnærmingen brukte en funksjonsbasert metode, med flerklasse- og binære klassifiseringsmodeller for å skille mellom forfattere og identifisere individuelle tekster som kanskje ikke passer med en students vanlige skrivemønster.

Resultatet av verifiseringen av forfatterskap var blandet, der modellene klarte å klassifisere noen forfattere riktig ganske konstant, mens andre sjelden gjorde det. Dette tyder på at noen forfattere har en distinkt stil som er lettere å skille fra andre. Når det gjaldt å skille ut spesifikke forfattere fra AI-genererte tekster, gjorde modellene det svært bra, noe som viser at dette er en gjennomførbar oppgave med de rette modellene og funksjonene.

Funnene bekrefter potensialet for å implementere disse modellene i pedagogiske rammeverk for å oppdage AI-generert innhold og verifisere forfatterskap. Studien har flere begrensninger som må adresseres, og fremtidig arbeid og kontinuerlig utvikling er nødvendig for å holde tritt med utviklingen av AI-teknologi og utvikle mer pålitelige metoder.

This thesis investigates the influence of advanced artificial intelligence (AI) language models on academic integrity, focusing on contract cheating. As AI capabilities like those seen in models like ChatGPT, Claude, and Gemini evolve, distinguishing between student-written and AI-generated texts becomes increasingly challenging. This research aims to evaluate the efficacy of AI detection tools and the use of students’ historical writing patterns to identify AI-generated text, with the goal of ensuring the integrity of academic work.

The research employs a feature-based approach with multiple machine-learning models to identify differences between human and AI-generated texts, focusing on features like sentiment, readability, complexity, and errors. A feature-based approach was chosen as the preferred method due to a better interpretability and understanding of what led to the models' decisions. The study achieved high accuracy in distinguishing AI-generated texts from human-written texts, the CatBoost Classifier performed the best with an F1-score of 0.9797. A Feature importance analysis highlighted the usage of paragraphs, spelling, and grammatical errors, as important for the models' decisions.

The second part focused on verifying authorship to detect deviations from students' known writing styles, The approach again used a feature-based methodology, with multiclass and binary classification models to differentiate between authors and identify individual texts that may not fit with a student's usual writing pattern.

The results for the authorship verification were mixed, with the models' being able to correctly classify some authors fairly constantly, and others rarely. This indicates that some authors have a distinct style that is easier to distinguish from others. When distinguishing specific authors from AI-generated texts, the models did very well, showing that this is a feasible task with the right models and features.

The findings confirm the potential for implementing these models within educational frameworks to detect AI-generated content and verify authorship. The study has several limitations that need to be addressed, future work and continuous development are needed to keep pace with advancing AI technologies and develop more reliable methods.