A study of how peer review used in group and individual assignments in Computer Science impacts students' learning outcome
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3079164Utgivelsesdato
2023Metadata
Vis full innførselSamlinger
Sammendrag
Peer review er en læringsmetode som har eksistert i mange år, og som har blitt brukt på forskjellige måter i ulike læringssammenhenger. Målet for denne masteroppgaven var å undersøke på hvilken måte læringsutbyttet påvirkes ved bruk av peer review for en individuell oppgave kontra en gruppeoppgave for informatikkstudenter i forbindelse med programmeringsoppgaver.
For å kunne sammenligne studentenes læringsutbytte når man bruker peer review for en individuell oppgave kontra en gruppeoppgave, ble det i denne forskningen utviklet ny funsjonalitet for gruppeadministrasjon for det eksisterende peer review systemet \emph{Computer Science Assignment Management System} (CSAMS). CSAMS tillot tidligere kun peer review av individuelle oppgaver. Med den nye funksjonaliteten håndterer nå systemet både gruppeoppgaver og individuelle peer reviewer av andre prosjekter. Den nye fuksjonaliteten i CSAMS ble brukt i Cloud-faget (PROG2005 - Cloud Technologies) på NTNU Gjøvik der studentene både gjennomførte en individuell oppgave og en gruppeoppgave i løpet av semesteret. Som en del av arbeidet, var det behov for å klargjøre og drifte systemet gjennom vårsemesteret for å kunne vurdere nytten det hadde både for forelesere og studenter. For å kunne samle data om studentenes læringsutbytte ved bruk av peer review av disse oppgavene, ble det utarbeidet spørreundersøkelser som ble gitt til studentene etter at de hadde gjennomført peer review.
Spørreundersøkelsene ga interessant innsikt i læringsmulighentene ved bruk av peer review. For eksempel var det to hovedfaktorer som påvirker hvordan studentene lærer gjennom et review i en peer review-prosess. Den første faktoren er ferdighetsnivået på revieweren og den andre er innsatsen som legges inn i å gjøre reviewet. Basert på disse og ytterligere funn, viser dette arbeidet at studentene har høyere læringsutbytte når de gjør peer review for en gruppeoppgave enn når de gjør det for en individuell oppgave. Avslutningsvis i denne masteroppgaven presenteres forslag til videre forskning på området, i tillegg til anbefalinger til nye fuksjoner for å øke nytten av systemet ytterligere i ulike fag. Peer review is a method of learning that has existed for many years, and has been applied in several ways in different educational contexts. For this thesis, the goal was to find out how using peer review for an individual assignment versus a group assignment impacts the learning outcome for computer science students in the context of programming assignments.
In order to be able to compare students' learning outcome when using peer review for an individual assignment versus a group assignment, in this research a novel group management functionality was developed for the existing peer review system \emph{Computer Science Assignment Management System} (CSAMS). CSAMS only allowed for individual assignments with peer review, but with the new functionality, it is capable of handling group assignments while enabling individual peer review of other projects. With the new functionality, CSAMS was used in the Cloud course (PROG2005 - Cloud Technologies) at NTNU Gjøvik, in which students both performed an individual assignment and a group assignment throughout the course. As part of this, this project required the deployment and operation of the system throughout the spring semester in order to explore its utility both for lecturers and students. To collect data about the students' learning outcome from using peer review on these assignments, surveys were created and given to the students following their peer review activity.
The surveys offered interesting insights into the learning opportunities associated with peer review. One such example was that there are two main factors that affect how much a student learns during a review in a peer review process, the first one being skill level of the reviewer, and the second one being the effort put into the review. Based on these and further findings, this work reveals that students have a higher learning outcome when using peer review for a group assignment over using peer review for an individual assignment only. The thesis concludes with further directions for advanced research in this area, as well as recommendations for feature extensions to make the system more useful in course settings.