Teaching for Tomorrow: Exploring the viability of applying methodology from Direct Instruction and Precision Teaching as foundation for digital educational gamification

Abstract

Serious games, gamifisering og adaptive læringsystemer har de siste tiårene vært eksplosive forskningsområder. Imidlertid er det sjeldent høykvalitetsforskning når det kommer til deres effektivitet, og resultatene er svært variable, samtidig som det mangler konkrete evidensbaserte pedagogiske metoder.

Forskningsdisiplinen atferdsanalyse har generert evidensbaserte pedagogiske metoder som har langvarig historikk med gode resultater. Disse er imidlertid lite kjent og har ikke sett bred implementering i utdanningssystemer rundt om i verden.

I denne avhandlingen presenterer jeg en prototype av et lett gamifisert system for å undervise fakta som var rettet mot tilpasning til brukerens personlige læringsevne og skrivehastighet. Prototypen brukte prinsipper fra de evidensbaserte metodene Direct Instruction og Presisjonsopplæring for å trene deltakerne ved frekvensbygging av korrekt skrevne svar i en flashcard-lignende webapplikasjon.

Det ble gjennomført en studie med kombinerte metoder i et forsøk på å vurdere prototypens effektivitet, brukernes reaksjoner på den og levedyktigheten i å anvende disse metodene uten betydelig hjelp fra eksperter på området. Studien hadde en kvasi-eksperimentell del som benyttet en fortest, ettertest og en tilbakekallstest. Etter eksperimentet ble det utført en spørreundersøkelse med Likert-skala samt åpne tekstbaserte svar. En tematisk analyse ble gjennomført på kvalitative data fra spørreundersøkelsen. Prototypen ble testet i forbindelse med et skyteknologikurs i Norge med studenter på bachelornivå ved universitet.

Det var en statistisk signifikant økning i poengsum for forsøksgruppen mellom fortest og ettertest, med en liten, statistisk signifikant nedgang mellom ettertest og tilbakekallstest. Prosentvis økning i poengsum hadde et gjennomsnitt på 95\% fra fortest til ettertest, og -9\% fra ettertest til tilbakekallstest. Sammenligning med kontrollgruppen og beregning av effektstørrelse var ikke fornuftig på grunn av utvalgsproblemer. Reaksjonene fra deltakerne var blandede, og flere tekniske mangler med prototypen ble identifisert.

Prototypen viste lovende resultater når den ble tentativt sammenlignet med resultater fra litteraturen om serious games, gamifisering og adaptive læringsystemer, og en fremtidig replikasjon virker verdt å gjennomføre. Imidlertid anbefaler jeg at fremtidig arbeid i denne retningen blir tverrfaglig, ettersom implementering av metodene på riktig måte ikke er enkelt uten ekspertveiledning.

Serious games, gamification and adaptive learning systems have in recent decades been exploding fields of research. However, high-quality research on their efficacy is rare, and the results are highly variable, while concrete evidence-based educational methodology is lacking.

The discipline of behavior analysis has generated evidence-based educational methods that have long histories of good results, however these are not commonly known, and have not seen mainstream adoption in educational systems around the world.

In this thesis, I present a prototype of a lightly gamified system for teaching facts that was aimed at adapting to the learner's personal learning aptitude and typing speed. The prototype applied principles from the evidence-based methods Direct Instruction and Precision Teaching to train the participants using frequency-building of correctly typed responses in a flashcard-like web-based application.

A mixed-methods study was conducted in an attempt to gauge the prototype's efficacy, the user's reactions to it, and the viability of applying these methods without considerable assistance from experts in them. The study had a quasi-experimental part that utilised a pretest, posttest and a retention test; following the experiment, a questionnaire containing likert items as well as free-text responses was issued. A thematic analysis was conducted on the qualitative data from the questionnaire. The prototype was tested in conjunction with a cloud technology course in Norway with students at the bachelor level in university.

There was statistically significant increase in score for the experimental group between the pretest and posttest, with a slight statistically significant decrease between posttest and retention test. The percent-wise increase in score had a mean of 95\% from pretest to posttest, and -9\% from posttest to retention test. Comparison with the control group, and calculation of effect size, was infeasible due to sampling issues. The reactions from the participants were mixed, and several technical deficiencies with the prototype were identified.

The prototype showed promise when tentatively compared to results from the literature on serious games, gamification and adaptive learning systems, and a future replication seems worthwhile. However, I recommend that future work in this direction be interdisciplinary, since properly implementing the methods is not trivial without expert guidance.