Evaluation of a New Serious Game Simulating a Day at the General Practitioner´s Office: Medical student´s perspectives on effects on engagement and motivation for learning and valuable elements in the game.

Abstract

Bakgrunn: Seriøse læringsspill kan øke motivasjon og engasjement for læring blant studenter. Det er begrenset kunnskap om hvorvidt spillernes motivasjon for læring påvirkes av studentenes kompetansenivå.

Mål: Å undersøke om medisinstudenters motivasjon og engasjement for læring etter å ha spilt læringsspillet PlayMedico varierte med hensyn til kompetansenivå og beskrive hvilke elementer i spillet medisinstudenter anså som nyttige.

Metode: Dette var en ikke-randomisert observasjonsstudie av to grupper medisinstudenter som hadde gjennomført ulike deler av læreplanen og som spilte det selvutviklede spillet PlayMedico. 81 fjerdeklasse medisinstudenter på Norges Teknisk-Naturvitenskapelige Universitet (NTNU) deltok. En gruppe var i ferd med å ha en avsluttende eksamen i emnene som dekkes i spillet (experienced, EXP-group, n=45), mens den andre gruppen hadde nettopp startet å lære seg emnene (inexperienced, IEXP-group, n=35). PlayMedico simulerer et fastlegekontor med totalt ni medisinske kasuistikker innenfor fagfeltene dermatovenerologi, infeksjonsmedisin, ortopedi og psykiatri. Etter en kort introduksjon spilte studentene PlayMedico i 30 minutter. Deretter fylte de ut et spørreskjema bestående av 10 utsagn med poengsum fra 1 (Ikke sant) til 5 (Veldig sant) og 3 fritekstspørsmål om opplevelse og forslag til forbedring. 7 av utsagnene var videre delt inn i fire kategorier: «Attention», «Relevance», «Confidence» og «Satisfaction» basert på ARCS-modellen for motivasjon.

Resultater: Den uerfarne gruppen skåret høyest poengsum på 8 av de 10 utsagnene om motivasjon og engasjement for læring etter å ha spilt PlayMedico. For de 7 utsagnene som falt innunder kategoriene i ARCS-modellen, ga gruppene sammenlagt høyest poengsum på motivasjonskategorien «Relevance (4.5 av 5)» og lavest poengsum på motivasjonskategorien «Confidence (3.5 av 5)». Den uerfarne gruppen hadde en høyere gjennomsnittspoengsum enn den erfarne gruppen på kategoriene: «Attention» (gjennomsnittlig forskjell 0.45, 95% konfidensintervall 0.12,- til 0.79) og «Satisfaction» (gjennomsnittlig forskjell 0.43, 95% konfidensintervall 0.05- til 0.81). I fri-tekst svarene uttalte studentene at spillet var relevant og engasjerende, med nyttige elementer slik som aktiv deltakelse, tilbakemeldinger, prioritering, kasus-baserte oppgaver, multimedia, realisme og variasjon. De viktigste forslagene til forbedring var mer omfattende tilbakemeldinger og å fjerne tekniske problemer.

Konklusjon: Studentene som nettopp hadde startet å lære seg de relevante medisinske emnene som dekkes i spillet ga en høyere poengsum på motivasjon og engasjement for læring etter å ha spilt PlayMedico enn de som var i ferd med å ha avsluttende eksamen i emnene i spillet. De selv-rapporterte tilbakemeldinger viser at den nåværende versjonen av PlayMedico har nyttige elementer, men fremdeles kan forberedes. På grunn av begrensninger i studien må resultatene tolkes med forsiktighet og det er behov for videre forskning.

Finansiering: Et stipend fra Olav Thon Stiftelsen I 2017 ble brukt for å programmere PlayMedico.

Background: Serious games can boost student motivation and engagement. There is little knowledge about whether students’ competency level influences their motivation for learning after playing a serious game.

Aim: To investigate how medical students’ motivation and engagement for learning after playing the Serious Game PlayMedico differed with regard to their competency levels and their self-reported experience with the game.

Methods: This was a nonrandomized observational study of two groups who differed in how far in the curriculum they had come who played the self-developed Serious Game PlayMedico. Eighty-one fourth-year medical students at the Norwegian University of Science and Technology (NTNU) participated, one group had completed the relevant curriculum covered in PlayMedico (experienced, EXP group, n= 45) and one group had just started (inexperienced, IEXP group, n=35). PlayMedico simulates a general practitioners office with 9 medical cases covering dermatovenerology, infectious medicine, orthopedics and psychiatry. After a short introduction the students played the game for 30 minutes, and then completed a questionnaire with 10 statements scored from 1 (not true) to 5 (very true) and three free text questions on experience and suggestions for improvement. Seven of the statements were divided into four categories; Attention, Relevance, Confidence and Satisfaction based on the ARCS model.

Results: The IEXP group scored highest on 8 of the 10 statements about motivation and engagement for learning after playing the serious game. For the seven statements linked to the ARCS model, both groups scored highest on the motivational category Relevance (4.5 out of 5) and lowest on Confidence (3.5 out of 5). The IEXP group had a higher mean than the EXP group on Attention (mean diff 0.45 95%CI 0.12 to 0.79) and Satisfaction (mean diff 0.43 95% CI 0.05 to 0.81). In the written feedback the students stated that the game was relevant and engaging, with valuable elements like active participation, feedback, prioritizing, case-based tasks, multimedia, realism and variation. The most important suggestions for improvement were more extensive feedback and removal of technical errors.

Conclusion: Students who had just started on the relevant curriculum rated their motivation and engagement for learning after playing the Serious Game higher than the group having completed the curriculum. From the self- reported feedback, the current version of PlayMedico have valuable elements but can still be improved. Due to limitations of the study the results must be interpreted carefully, and further research is needed.

Funding: A scholarship by the Olav Thon Foundation in 2017 was used to pay a company to program PlayMedico.