Vis enkel innførsel

dc.contributor.advisorSlørdahl, Tobias S.
dc.contributor.advisorMartinsen, Susanne Skjervold Smeby
dc.contributor.advisorStandal, Rune
dc.contributor.advisorLillebo, Børge
dc.contributor.authorRygg, Inga Skogvold
dc.date.accessioned2021-10-21T18:21:17Z
dc.date.available2021-10-21T18:21:17Z
dc.date.issued2021
dc.identifierno.ntnu:inspera:71607394:17759506
dc.identifier.urihttps://hdl.handle.net/11250/2824757
dc.description.abstractKvalitetssikringstiltak spiller en viktig rolle i kvaliteten til vurderingsprogram, og flere studier har vist positiv effekt av intern fagfellevurdering av flervalgsoppgaver (FVO). Man mangler likevel kunnskap om effekten av ekstern fagfellevurdering. I denne studien utforsker vi hvordan ekstern, dobbeltblindet fagfellevurdering påvirker kvaliteten på summative vurderinger i et medisinstudie i løpet av en fireårsperiode. Vi analyserte antallet oppgaver som ble endret etter fagfellevurdering, psykometriske data og studentappeller. Resultatet viste at fagfeller klarer å identifisere problematiske oppgaver, og at oppgaveforfattere og fagfeller ser ut til å være mest uenige om relevansen til basalfaglige oppgaver og oppgaver som kun krever framhenting av kunnskap, heller enn resonnering (K1-oppgaver). Vanskelige oppgaver og K1-oppgaver hadde mindre sannsynlighet for å bli godkjent under fagfellevurdering, og oppgaver som ikke ble endret etter fagfellevurdering hadde flere fungerende distraktorer. Vi fant ingen forbedring i psykometriske data etter implementering av fagfellevurdering; i årene etter implementering fant vi lettere og mindre diskriminerende oppgaver med færre fungerende distraktorer. Antall studentappeller indikerer at studenter og fagfeller er enige når de skal identifisere problematiske oppgaver.
dc.description.abstractQuality assurance measures play an important role in the quality of assessment programs, and several studies have shown positive effects of in-house peer-review of multiple choice questions (MCQs). However, we lack knowledge about the effects of external peer-review. In this study we explore how external, double-blinded peer-review affect the quality of summative examinations in a medical program during a four-year period. We analyzed the number of items changed following peer-review, the psychometric measures and student appeals. Results showed that peer-reviewers are able to identify problematic items, and that item writers and peer-reviewers seem to disagree most on the relevance of basic science items and items that require recall of knowledge, as opposed to higher cognitive reasoning (K1-items). Difficult items and K1-items were less likely to be approved in peer-review, and items that were unchanged following review had more functioning distractors. We found no improvement in psychometric measures after implementation of peer-review; in the following years we found easier and less discriminating items with less functioning distractors. Student appeal numbers indicated that students and peer-reviewers agree when identifying problematic items.
dc.languageeng
dc.publisherNTNU
dc.titleThe effects of external peer-review on multiple choice item quality in medical education
dc.typeMaster thesis


Tilhørende fil(er)

Thumbnail

Denne innførselen finnes i følgende samling(er)

Vis enkel innførsel