Game of Git - Developing and testing an educational game for learning Git version control system

Abstract

I denne masteroppgaven fortsetter vi å utvikle en spillbasert prototype rettet mot læring av Git versjonskontrollsystem, som ble utviklet under spesialiseringsprosjektet 'Game of Git' av Francis & Thorvik (2023). Denne prototypen blir også evaluert og sammenlignet med en tradisjonell læringsmetode, for å vurdere effektiviteten til spillet for å lære Git. Prototypen fokuserte på å integrere læringsmål inn i spillelementene, kombinert med bruk av velkjent spillmekanikk i en fantasi-kontekst. Oppgaven forsøker å svare på spørsmålet:

Hvor effektiv er spillbasert læring for å lære Git versjonskontrollsystem sammenlignet med en tradisjonell metode?

Utviklingsprosessen fulgte alfa- og beta-testing for å fikse store brukervennlighetsproblemer, med mål om å gjøre prototypen klar for gammatesting – som hadde som mål å sammenligne læringsgevinsten ved læring gjennom spillet eller gjennom en tradisjonell metode.

Gammatestingen involverte 17 deltakere som ble delt inn i en eksperimentgruppe og en kontrollgruppe, og fulgte et pretest–posttest-design. Deltakernes ferdigheter i Git ble vurdert i både pre-testen og post-testen, og statistisk analyse med ANCOVA ble utført for å kontrollere for variansen i pre-testresultatene. I tillegg svarte deltakerne på spørsmål angående deres læringserfaring og ga tilbakemelding på spillet.

Analysen fant at det ikke var noen signifikant forskjell i læringsgevinst mellom gruppene i post-testen. Det ble imidlertid funnet en signifikant forskjell i motivasjon til fordel for spillgruppen. Vi fant også at spillet var vellykket med å integrere læringsmål inn i spillelementene, og deltakerne rapporterte at de velkjente spillmekanikkene hjalp dem med å fokusere på læringen. Det ble også funnet at spillet manglet historiefortelling, rollespill og et klart overordnet mål, noe som resulterte i redusert innlevelse for spillerene. Gjennom denne prosessen ble det også funnet at å følge playtest-metoden av Davis et al. (2005) under betatesting var noe mangelfult for å oppdage problemer med det pedagogiske innholdet i spillet.

In this thesis we continue developing a game-based prototype aimed at facilitating learning of the Git version control system, that was developed during the specialization project ’Game of Git’ by Francis & Thorvik (2023). This prototype is also evaluated and compared to a traditional learning method, to assess the effectiveness of the game for learning Git. The prototype focused on linking learning objectives within the gameplay elements, combined with familiar gameplay in a fantasy context. The goal of the thesis is to answer the question:

How effective is game-based learning for learning Git version control system compared to a traditional method?

The development process followed alpha and beta testing to fix major usability issues and bugs, with the goal of making the prototype ready for gamma testing - which aimed to compare the learning gain of learning through the game or through a traditional approach.

The gamma testing involved 17 participants who were split into an experimental group and a control group, with a pre-test/post-test experiment design. The participants’ proficiency in Git was assessed in the pre-test and the post-test, and statistical analysis with ANCOVA was performed to control for the variance in pre-test results. Additionally, the participants answered questions regarding their learning experience and offered feedback on the game.

The analysis found there to be no significant difference in learning gain between the experimental group and control group in the post-test. However, a significant difference in motivation was found in favour of the game group. We also found that the game was successful in linking learning objectives with the gameplay elements, and participants reported that the familiar gameplay aided their focus on learning. However, the game was found to be lacking in storytelling, role-play and a clear overarching goal, resulting in reduced immersion for players. Throughout this process it was also found that following the playtest method by Davis et al. (2005) was lacking during beta testing for discovering issues with the educational content of the game.