Legg til i lagrede treff Vurderingsdialogen : en undersøkelse av tekstvurderingspraksis ved nasjonal læringsstøttende prøve i skriving

Abstract

I forberedelsene til det som skulle bli nasjonal utvalgsprøve i skriving, og som nå har status som nasjonal læringsstøttende prøve i skriving, ble det i 2010 etablert et semipermanent nasjonalt vurdererpanel som skal stå for vurderingene av elevtekstene. Bakgrunnen for etableringen av dette panelet var erfaringer fra 2005-forsøket på å innføre nasjonale prøver i skriving, hvor vurderingsarbeidet viste seg å være av for dårlig kvalitet (Fasting, Thygesen, Berge, Evensen & Vagle, 2009). Med dette utgangspunktet, har det vært interessant å følge lærerne i Vurdererpanelet og deres ferd fra å være tekst- og skriveinteresserte lærere, til å bli normsettende skrivevurderere på nasjonalt nivå. Det overordna målet i denne studien har således vært å undersøke hvordan uerfarne vurderere utvikler kompetanse i elevtekstvurdering. Materialet er transkripsjoner av vurderingsdialoger samlet inn over en ettårsperiode (tre vurderingssamlinger, 2010-2011). Det er gjort opptak av de samme fem vurderere på hver samling, men siden disse har inngått i par- og gruppekonstellasjoner som stadig ble endret for å unngå utvikling av lokale vurderingskulturer, inneholder materialet dialogbidrag fra totalt 33 vurderere. 26 vurderingsdialoger ble transkribert, og hver transkripsjon inneholder 1-3 tekstvurderinger. Fokus har vært på vurdereres vurderingspraksiser slik de har kommet til uttrykk i par- og gruppevurderingene. Et slikt fokus på «worlding», og ikke «world» (Pollner, 1987), er metodisk forankret i etnometodologien. Hovedspørsmålet har blitt forsøkt svart gjennom tre delstudier med tilhørende forskningsspørsmål. I første delstudie ser vi hvordan vurderernes innarbeidete vurderingspraksis forut for deltakelse i Vurdererpanelet ikke lett lar seg endre selv om vurdererne tar del i et læringsmiljø hvor endring av vurderingspraksis er en uttalt målsetting. Samtidig viser analyser av parvurderingene at når vurderingsdialogene fungerer som «utforskende samtaler» (Wegerif & Mercer, 1997), øker sannsynligheten for at vurderingene blir konsistente gjennom en form for triangulering. I andre delstudie blir det tydelig hvordan én vurderer pendler mellom intermentale (mikrososiale) og intramentale (individuelle) (Vygotsky, 1978) strategier i møte med elevtekster og ulike vurderingsressurser. Utvikling spores gjennom vurdererens internalisering av fagbegreper gjennom en målrettet remedieringspraksis (Prior & Hengst, 2010). I tredje delstudie ser vi hvordan vurdererne bruker vurderingsskjemaet til å stykke opp vurderingsarbeidet i mindre «kommunikative prosjekt» (Linell, 2009). Strategiene for å komme til enighet om tekstkvalitet innenfor hvert prosjekt er flere og de er lite konsistente. Det er også klart at den enkelte vurderers sosiale posisjon i Vurdererpanelet i seg selv fungerer som et vektig beslutningsgrunnlag. De ulike studiene gir anledning til å gå i dialog med annen (internasjonal) forskningslitteratur som omhandler sentralt administrerte skriveprøver. Denne litteraturen fremstiller gjerne vurdererne som trente iverksettere av en gjennomtenkt instruks, skrivevurdererne er «utførere». Det virker å være en sammenheng mellom et slikt syn på vurdererrollen og fremveksten av AES, automated essay scoring (Assessing Writing, 18, 2013, (temautgave)). Den foreliggende studien utfordrer en slik forståelsesramme og praksis gjennom å vise fram kompleksiteten i vurderingsarbeidet, også innenfor et praksisfellesskap der normer for ferdighetsnivå er under utvikling.

In 2005, an attempt was made to carry out a Norwegian national writing test. The pupils’ texts were assessed by local teachers. However, due to low inter-rater reliability further tests were postponed. Several explanations for the low reliability have been posited, such as the level of expertise among the raters and the lack of a shared assessment culture (Fasting, Thygesen, Berge, Evensen & Vagle, 2009). To meet these challenges, an assessment panel was established in 2010 to assess the pupils’ writings for the new Learning Supportive Tests in Writing as a Basic Skill (which was intentionally to be a Norwegian Sample-based Assessment of L1 Writing as a Basic Skill). On this basis, it has been of interest to follow the assessment panel teachers in their journey from being fascinated with, and interested in, pupil writing, to becoming skilled as national standard setting raters of pupil writing. In this thesis, the aim has therefore been to investigate how novice raters develop competence within assessment of pupils’ writing. The study was conducted over three successive National Assessment Panel meetings, in June 2011, November 2011 and April 2012. Five raters where followed during this period, but since the raters continuously changed assessment partners (to stem for development of idiosyncratic assessment practices), the data consists of contributions from thirty-three raters. Twenty-six assessment dialogues were tape-recorded, each recording documents the assessment of one to three Year 8 texts. The focus has been on raters’ assessment practices where such a focus on «worlding», and not «world» (Pollner, 1987), is methodologically anchored within ethnomethodology. This thesis contains three research papers, each addressing a separate research question related to the overall aim of investigating raters’ writing assessment practice and it’s development. The first paper studies how the raters’ incorporate new assessment procedures, made available through their participation in the National Assessment Panel, with their former assessment practice having been established through years as writing teachers. The National Assessment Panel is established to make the raters change towards shared assessment practice, but such changes are small in the overall data. However, analyses suggest that when the assessment dialogues work as “explorative talk” (Wegerif & Mercer, 1997), this is indicative of more consistent assessments due to a form of triangulation. The second paper studies how one rater changes between “intermental” and “intramental” (Vygotsky, 1978) strategies when confronted with pupils’ texts and the different assessment resources. Rater development is possible to trace through the rater’s internalization of concepts through a targeted “remediation practice” (Prior & Hengst, 2010). The last paper explores how the raters use the rubric to organize the assessments within smaller “communicative projects” (Linell, 2009). The strategies used to reach agreement are several and inconsistent. Analysis also discloses that the individual rater’s social position within the National Assessment Panel is important when raters are to reach agreement about text quality. Overall, the three different studies provide an opportunity for dialogue with related international literature. This literature tends to present the raters as trained doers who are to put into effect well planned instructions. It seems to be a relation between such a view on a rater’s role within writing assessment and the growth of AES, automated essay scoring (cf. Assessing Writing, 18, 2013). Hence, the present thesis challenges this conception and practice by offering a chink of light into the raters’ complex decision-making processes.