Teaching for Tomorrow: Exploring the viability of applying methodology from Direct Instruction and Precision Teaching as foundation for digital educational gamification
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3087623Utgivelsesdato
2023Metadata
Vis full innførselSamlinger
Sammendrag
Serious games, gamifisering og adaptive læringsystemer har de siste tiårenevært eksplosive forskningsområder. Imidlertid er det sjeldenthøykvalitetsforskning når det kommer til deres effektivitet, og resultatene ersvært variable, samtidig som det mangler konkrete evidensbaserte pedagogiskemetoder.
Forskningsdisiplinen atferdsanalyse har generert evidensbaserte pedagogiskemetoder som har langvarig historikk med gode resultater. Disse er imidlertidlite kjent og har ikke sett bred implementering i utdanningssystemer rundt om iverden.
I denne avhandlingen presenterer jeg en prototype av et lett gamifisert systemfor å undervise fakta som var rettet mot tilpasning til brukerens personligelæringsevne og skrivehastighet. Prototypen brukte prinsipper fra deevidensbaserte metodene Direct Instruction og Presisjonsopplæring for åtrene deltakerne ved frekvensbygging av korrekt skrevne svar i enflashcard-lignende webapplikasjon.
Det ble gjennomført en studie med kombinerte metoder i et forsøk på å vurdereprototypens effektivitet, brukernes reaksjoner på den og levedyktigheten i åanvende disse metodene uten betydelig hjelp fra eksperter på området. Studienhadde en kvasi-eksperimentell del som benyttet en fortest, ettertest og entilbakekallstest. Etter eksperimentet ble det utført en spørreundersøkelse medLikert-skala samt åpne tekstbaserte svar. En tematisk analyse ble gjennomførtpå kvalitative data fra spørreundersøkelsen. Prototypen ble testet iforbindelse med et skyteknologikurs i Norge med studenter på bachelornivå veduniversitet.
Det var en statistisk signifikant økning i poengsum for forsøksgruppen mellomfortest og ettertest, med en liten, statistisk signifikant nedgang mellomettertest og tilbakekallstest. Prosentvis økning i poengsum hadde etgjennomsnitt på 95\% fra fortest til ettertest, og -9\% fra ettertest tiltilbakekallstest. Sammenligning med kontrollgruppen og beregning aveffektstørrelse var ikke fornuftig på grunn av utvalgsproblemer. Reaksjonene fradeltakerne var blandede, og flere tekniske mangler med prototypen bleidentifisert.
Prototypen viste lovende resultater når den ble tentativt sammenlignet medresultater fra litteraturen om serious games, gamifisering og adaptivelæringsystemer, og en fremtidig replikasjon virker verdt å gjennomføre.Imidlertid anbefaler jeg at fremtidig arbeid i denne retningen blirtverrfaglig, ettersom implementering av metodene på riktig måte ikke er enkeltuten ekspertveiledning. Serious games, gamification and adaptive learning systems have in recentdecades been exploding fields of research. However, high-quality research on theirefficacy is rare, and the results are highly variable, while concreteevidence-based educational methodology is lacking.
The discipline of behavior analysis has generated evidence-based educationalmethods that have long histories of good results, however these are notcommonly known, and have not seen mainstream adoption in educational systemsaround the world.
In this thesis, I present a prototype of a lightly gamified system for teachingfacts that was aimed at adapting to the learner's personal learning aptitudeand typing speed. The prototype applied principles from the evidence-basedmethods Direct Instruction and Precision Teaching to train the participantsusing frequency-building of correctly typed responses in a flashcard-likeweb-based application.
A mixed-methods study was conducted in an attempt to gauge the prototype'sefficacy, the user's reactions to it, and the viability of applying thesemethods without considerable assistance from experts in them. The study had aquasi-experimental part that utilised a pretest, posttest and a retention test;following the experiment, a questionnaire containing likert items as well asfree-text responses was issued. A thematic analysis was conducted on thequalitative data from the questionnaire. The prototype was tested inconjunction with a cloud technology course in Norway with students at thebachelor level in university.
There was statistically significant increase in score for the experimentalgroup between the pretest and posttest, with a slight statistically significantdecrease between posttest and retention test. The percent-wise increase inscore had a mean of 95\% from pretest to posttest, and -9\% from posttest toretention test. Comparison with the control group, and calculation of effectsize, was infeasible due to sampling issues. The reactions from theparticipants were mixed, and several technical deficiencies with the prototypewere identified.
The prototype showed promise when tentatively compared to results from theliterature on serious games, gamification and adaptive learning systems, and afuture replication seems worthwhile. However, I recommend that future work inthis direction be interdisciplinary, since properly implementing the methods isnot trivial without expert guidance.