The effect of noise removal to support automatic grading of natural language

Abstract

Den vanligste måten utdanningssystemet får evaluert studentenes kunnskap på er ved bruk av elevoppgaver og eksamener. Det tar ofte lang tid å sette karakter på oppgaver. Dette fører til at lærere har mindre tid til faktisk å lære studentene. Ved å utvikle et system for automatisk karaktersetting kan prosessen for karaktersettingen bli kortere, som igjen kan frigi tid som kan brukes til å hjelpe studentene. Prosessen å utvikle automatiske karaktersettingssystemer er imidlertid tidkrevende og full av utfordringer. En av utfordringene er å konvertere elevens svar (som er fulle av støy, for eksempel stavefeil og språkvariasjoner) til et språk en maskin kan forstå med minst mulig støy. Denne oppgaven skal undersøke hvilken effekt støyfjerning har på automatisk karaktersetting for norske kortsvar innen fagområdet datavitenskap.

Denne oppgaven bruker to eksamener fra fagområdet datavitenskap for å analysere tekstuell støy. De fleste av besvarelsene er skrevet på norsk bokmål, men noen er skrevet på nynorsk og engelsk. Datasettet er fullt av faguttrykk, både på engelsk og norsk, som gjør at besvarelsene inneholder mer støy og er komplekse å rense. De inneholder dermed en del mer støy enn rene engelske besvarelser, som de fleste studier er gjennomført på.

For å sette seg inn i hvilke støykategorier som kan forventes i eksamensbesvarelser, er det viet et helt kapittel for å se på dette. Basert på de identifiserte støykategoriene ble det utført en dypere støyanalyse for 7 av dem. Disse støykategoriene er: distracting words, spelling variation, spelling errors, inflection, distracting characters, wanted terminology og synonyms.

To eksperimenter ble utført for å finne ut hvilken innvirkning støyen har på eksamenstekster. Det ble beregnet en likhetsscore mellom referansesvar og elevsvar for å finne ut av dette. Det første eksperimentet fokuserte på hvor betydelig effekt en "perfekt" støyfjerningspipeline kan bidra til sammenligningsalgoritmens endelige resultat. Den "perfekte" støyfjerningen presterte i gjennomsnitt 60\% bedre enn det ubehandlede svaret. Det andre eksperimentet fokuserte på hvilke støykategorier som påvirket resultatet mest. 5 tester med ulike støykategorier ble testet. Testene med distracting words og inflection viste mest effekt. I testen der distracting words ikke ble fjernet, presterte pipelinen 28,04\%-33,05\% dårligere. I testen hvor ord ble normalisert, presterte pipelinen 4,09\%-39,86\% dårligere. Spelling variation testen påvirket også svarene som inneholdt mange språk variasjoner.

Verdien hentet fra denne studien viser at forskning på norsk naturlig språkbehandling fortsatt har et stykke igjen før den kan konkurere med sin engelske motpart. Det er vanskelig å utvikle et fungerende system med dagens ressurser. Derfor er neste steg som trengs innenfor dette feltet å utvikle gode biblioteker for synonymbruk, faguttrykk og metoder for å håndtere tekster med flere språk, alt offentlig tilgjengelig.

The most common way for the educational system to evaluate their students' knowledge is with the use of learner tasks and exams. These tests usually take a long time to grade, which results in less time the teacher can use to teach their students. By developing an automatic grading system that can accelerate the grading process, the freed-up time teachers now have can be used towards further assisting their students. However, the process of developing automatic grading systems is time-consuming and full of challenges. One of the challenges is to convert the student's answers (which are full of noise, for example spelling errors and language variations) into a language a machine can understand with as little noise as possible. This thesis will investigate the effect noise removal has on automatic grading for Norwegian short answers within the field of Computer Science.

This thesis uses two exams from the field of Computer Science to analyze textual noise. Most of the answers are written in Norwegian Bokmål, but some are written in Norwegian Nynorsk and English. The dataset is full of technical terms, both in English and Norwegian, which makes it complex and noisier than clean English answers, where most studies have been done.

To get familiar with the categories of noise that can be expected in exam answers, a chapter has been dedicated to look at this. Based on the identified noise categories, a deeper noise analysis was conducted for 7 of them. These noise categories are: distracting words, spelling variation, spelling errors, inflection, distracting characters, wanted terminology, and synonyms.

Two experiments were conducted to determine the impact the noise has on these exam texts. A similarity score was calculated between reference answers and student answers to figure this out. The first experiment focuses on how significant the effect that a "perfect" noise removal pipeline can contribute to the comparison algorithm's final result. The "perfect" noise removal performed on average 60\% better than the unprocessed answer. The second experiment focuses on which noise category improvements impacted the results the most. 5 tests with different noise categories were tried. The tests concerning distracting words and word inflection showed the most impact. In the test where distracting words were not removed, the pipeline performed 28.04\%-33.05\% worse. In the test where inflection was normalized, the pipeline performed 4.09\%-39.86\% worse. The spelling variation test also impacted the answers that contained a lot of language variations.

The value gained from this study shows that the research into Norwegian natural language processing still has some way to go before it can compete with its English counterpart. It is challenging to develop any working system with the current resources available. Therefore, the next step needed within this field is to develop good libraries for synonym usage, term usage, and methods for handling texts with multiple languages, all publicly available.