Evaluating and monitoring reading proficiency - A digital word chain test

Abstract

I følge PISA-undersøkelser fra 2015 og 2018 har antallet norske 15-åringer som sliter med leseferdigheter økt fra 15\% til 19\% i løpet av tre år. Gutter er overrepresentert i denne gruppen, da 26\% av guttene sliter med lesing og skriving, sammenlignet med 12\% av jentene. En studie av norske 5- og 6-åringer konkluderte med at det allerede er en forskjell i leseferdigheter mellom kjønnene når barna begynner på skolen. Forskning viser også at en viktig metode når man underviser barn i lesing er å vurdere barnas leseferdigheter og gi dem utfordringer på riktig nivå. I dag er en viktig vurderingsmetode i norske barneskoler og ungdomsskoler en såkalt ordkjedetest, en prøve som utføres på papir der elevene får en rekke ordkjeder (et sammensatt ord som består av fire kortere ord) og skal dele opp hver ordkjede i de fire ordene. Hver test består av 90 ordkjeder og blir rettet manuelt. Målet med denne masteroppgaven er å utvikle et digitalt alternativ til den papirbaserte testen, slik at testene blir mindre kostbare å gjennomføre og mer tilgjengelige for lærere og elever. Forskningsmodellen anvendt i dette prosjektet er Design Science Research med en iterativ prosessmodell. Den digitale testen er blitt utviklet gjennom to iterasjoner og har blitt testet med tanke på både sammenlignbarhet med den papirbaserte testen og generell brukervennlighet.

Resultatet av prosjektet er et digitalt system bestående av to applikasjoner. Hovedapplikasjonen er en nettside der elever kan logge inn og ta en digital ordkjedetest som blir vurdert automatisk. Den andre applikasjonen er et lærerpanel, også i form av en nettside, der lærere kan tildele tester og følge med på fremgangen til enkeltelever eller hele klassen. For å måle hvordan resultatene fra den digitale ordkjedetesten sammenligner seg med resultatene fra den papirbaserte testen, ble det gjennomført en sammenlignbarhetstest. Resultatene fra denne testen viste at det var en høy korrelasjon mellom resultatene etter den andre iterasjonen, med noe usikkerhet. I brukervennlighetstesten ga 12 lærere og spesialpedagoger systemet en SUS-score på 94,2, noe som tilsvarer karakteren A+ på en normalisert karakterskala. Selv om resultatene er lovende, må systemet gjennomgå ytterligere evalueringer med ekte elever i klasserom og integreres i de administrative IKT-systemene som brukes i skolen.

According to PISA surveys from 2015 and 2018, the number of Norwegian 15-year-olds that struggle with reading literacy has risen from 15\% to 19\% over the course of three years. Boys are overrepresented in this group, as 26\% of the boys struggle with reading and writing, compared to 12\% of the girls. A study on Norwegian 5-and-6-year-olds concluded that a gap in reading literacy exists between the genders already when children start school. Research also shows that an important method when teaching children how to read is to assess their literacy level and provide them with challenges of an appropriate level. Today, an important assessment tool in Norwegian elementary- and middle schools is the word chain test, a test conducted on paper in which pupils are given a set of word chains (a compound word consisting of four shorter words) and tasked to split each word chain into the four words. Each test consists of 90 word chains and is graded manually. This master thesis aims to develop a digital alternative to the paper-based test, thus making the tests less costly to conduct and more available to teachers and pupils. The project follows a Design Science Research approach with an iterative process model. The digital test has been developed over two iterations and tested for both comparability to the paper-based test and general usability.

The result of the project is a digital system comprised of two applications. The main application is a website where pupils can log in and take a digital word chain test that is graded automatically. The second application is a teacher's dashboard, where teachers can assign tests and monitor the progress of individual pupils or a whole class. To measure how results from the digital word chain test compare to results from the paper-based word chain test, a comparability test was conducted. The results from this test showed that there was a high correlation between the results after the second iteration, although with some uncertainty. In the usability test, 12 teachers and special education teachers gave the system a SUS-score of 94.2, achieving a grade of A+ on a normalized grading scale. While the results show promise, further evaluations involving real pupils in classroom settings and integration into existing administrative ICT systems utilized in schools are necessary.