dc.contributor.advisor | Slørdahl, Tobias S. | |
dc.contributor.advisor | Martinsen, Susanne Skjervold Smeby | |
dc.contributor.advisor | Standal, Rune | |
dc.contributor.advisor | Lillebo, Børge | |
dc.contributor.author | Rygg, Inga Skogvold | |
dc.date.accessioned | 2021-10-21T18:21:17Z | |
dc.date.available | 2021-10-21T18:21:17Z | |
dc.date.issued | 2021 | |
dc.identifier | no.ntnu:inspera:71607394:17759506 | |
dc.identifier.uri | https://hdl.handle.net/11250/2824757 | |
dc.description.abstract | Kvalitetssikringstiltak spiller en viktig rolle i kvaliteten til vurderingsprogram, og flere studier har vist positiv effekt av intern fagfellevurdering av flervalgsoppgaver (FVO). Man mangler likevel kunnskap om effekten av ekstern fagfellevurdering. I denne studien utforsker vi hvordan ekstern, dobbeltblindet fagfellevurdering påvirker kvaliteten på summative vurderinger i et medisinstudie i løpet av en fireårsperiode. Vi analyserte antallet oppgaver som ble endret etter fagfellevurdering, psykometriske data og studentappeller. Resultatet viste at fagfeller klarer å identifisere problematiske oppgaver, og at oppgaveforfattere og fagfeller ser ut til å være mest uenige om relevansen til basalfaglige oppgaver og oppgaver som kun krever framhenting av kunnskap, heller enn resonnering (K1-oppgaver). Vanskelige oppgaver og K1-oppgaver hadde mindre sannsynlighet for å bli godkjent under fagfellevurdering, og oppgaver som ikke ble endret etter fagfellevurdering hadde flere fungerende distraktorer. Vi fant ingen forbedring i psykometriske data etter implementering av fagfellevurdering; i årene etter implementering fant vi lettere og mindre diskriminerende oppgaver med færre fungerende distraktorer. Antall studentappeller indikerer at studenter og fagfeller er enige når de skal identifisere problematiske oppgaver. | |
dc.description.abstract | Quality assurance measures play an important role in the quality of assessment programs, and several studies have shown positive effects of in-house peer-review of multiple choice questions (MCQs). However, we lack knowledge about the effects of external peer-review. In this study we explore how external, double-blinded peer-review affect the quality of summative examinations in a medical program during a four-year period. We analyzed the number of items changed following peer-review, the psychometric measures and student appeals. Results showed that peer-reviewers are able to identify problematic items, and that item writers and peer-reviewers seem to disagree most on the relevance of basic science items and items that require recall of knowledge, as opposed to higher cognitive reasoning (K1-items). Difficult items and K1-items were less likely to be approved in peer-review, and items that were unchanged following review had more functioning distractors. We found no improvement in psychometric measures after implementation of peer-review; in the following years we found easier and less discriminating items with less functioning distractors. Student appeal numbers indicated that students and peer-reviewers agree when identifying problematic items. | |
dc.language | eng | |
dc.publisher | NTNU | |
dc.title | The effects of external peer-review on multiple choice item quality in medical education | |
dc.type | Master thesis | |