Do testing, spacing, and interleaving improve exam scores among medical students? A randomized controlled trial.

Abstract

Bakgrunn: Læringsstrategiene testing, intervaller og stokking har i flere studier vist seg å være effektive for læring og gjengivelse av kunnskap. Studiene som er utført har imidlertid ofte hatt enkle studiedesign, og de tre læringsstrategiene har sjeldent blitt undersøkt sammen. Det mangler derfor evidens på effekten av læringsstratgiene i medisinstudiet. In denne studien undersøkte vi om testing, intervaller og stokking fremmer læring blant medisinstudenter i et integrert medisinstudium.

Metode: Alle studenter i fem av seks studieår i medisinstudiet ved Norges-teknisk naturvitenskaplige universitet (NTNU) ble inviterte til å løse fem til seks formative tester som var spredt utover semesteret med tre ukers mellomrom. Testene besto av 30 flervalgsoppgaver (FVO) fra fag som ble testet på eksamen. Fagsammensetningen var representativt for eksamen, og flervalgsoppgavene var fordelt i henhold til fagspesifikke eksamensmaler. Ved stratifisert randomisering, ble hver student testet i halvparten av eksamensfagene. Eksamensskår i testede og ikke-testede fag ble sammenlignet med paret t-test ved at studentene var sine egne kontroller.

Resultater: 807 studenter fullførte alle eller alle utenom én test, og ble inkludert for analysering. Studentene skåret gjennomsnittlig 1.2 prosentpoeng (95% konfidensintervall (KI) 0.6 - 1.8, p<.001) bedre på eksamen i fag de var blitt testet i sammenlignet med fag de ikke var blitt testet i. For små eksamensfag (< 4% av eksamen), den gjennomsnittlige forskjellen mellom testede og ikke-testede fag var 2.4 prosentpoeng (95% KI 1.1 - 3.7, p < .001). Det var ingen signifikant effekt på store eksamensfag (de to-fire største fagene) med en skårdifferanse på -0.1 prosentpoeng (95% KI -1.3 - 1.1, p = .901). Skårforskjellen var 1.6 prosentpoeng (95% KI 0.9 - 2.2, p < .001) for årseksamener og 0.1 prosentpoeng (95% KI -1.1 - 1.3, p = .926) for semestereksamener. Effektstørrelsen var ikke signifikant forskjellig mellom ordinære eksamener og hjemmeeksamener med hjelpemidler under covid-pandemien.

Konklusjon: Testing, intervaller og stokking gir bedre eksamensskår blant medisinstudenter. Studentene har større utbytte av jevnlig testing på årseksamener enn på mindre omfattende semestereksamener, og effekten er større for mindre sammenlignet med større eksamensfag.

Background: The learning strategies of testing, spacing and interleaving have been proven beneficial on long-term retention of knowledge in multiple studies. However, the experimental designs of such studies have been simple and the three learning strategies have rarely been tested together as an entity. Evidence is thus lacking on the learning effect of the strategies in a medical curriculum. In this study we investigated if testing, spacing and interleaving applied in an integrated medical curriculum promote knowledge retention among medical students.

Method: All students in five of six study years in the medical degree program at the Norwegian University of Science and Technology (NTNU) were invited to solve five-six formative tests spaced throughout the semester for three semesters. The tests consisted of 30 multiple choice questions (MCQs) from subjects tested on the respective end-of-semester or end-of-year exams. The subject composition of the tests was representative to that of the exam and test MCQs were distributed according to subject exam blueprints. Each student was tested in half of the exam subjects by stratified randomization. Students served as their own controls when comparing scores in tested versus non-tested subjects on end-of-semester or end-of-year summative exams.

Results: 807 students completed all or all but one test and were analyzed. Students achieved on average 1.2 % (95% CI 0.6 – 1.8) higher exam scores in tested compared to non-tested subjects, p<.001. For minor exam subjects (<4% of the exam) the average difference between tested and non-tested subjects was 2.4 % (95% CI 1.1–3.7), p<0.001. There was no significant effect on major exam subjects (the two-four largest subjects) with a score difference of -0.1 % (95% CI -1.3–1.1), p = .901. The score difference was 1.6 % (95% CI 0.9–2.2, p<.001) for end-of-year exams and 0.1 % (95% CI -1.1–1.3, p=0.926) for end-of-semester exams. The effect size did not differ significantly between ordinary and home exams conducted during the covid-pandemic.

Conclusion: Testing, spacing and interleaving improve exam scores among medical students. Students benefited more from the regular testing regime on end-of-year exams relative to less extensive end-of-semester exams, and the effect is greater for minor compared to major exam subjects.