Making sense of standards: Validity in English assessment in vocational classrooms

Abstract

I det norske skolesystemet er det ikke mange retningslinjer for hvordan lærere skal gå fram i prosessen med å implementere læreplanen til praksis i klasserommet. Lærere og elever må skape en mening med læreplanen, og hvordan de gjør dette avhenger av standardene de tar i bruk. Denne studien hadde som mål å undersøke samspillet mellom læreplanen og vurderingspraksisene. Hovedmålet var å undersøke hvordan lærere og elever skapte mening av standarder i vurderingsprosessen. Følgelig ble det gjennomført en casestudie av en validitetskjede som beskriver elementer som læreplanmål, læringsmål, undervisningsmetoder og vurdering.

Studien ble utført i to videregående skoler hvor yrkesfagelever og deres lærere deltok, og settingen var det engelske klasserommet. Denne gruppen ble valgt da det er utført en begrenset mengde forskning på dette området. Data ble samlet inn gjennom kvalitative intervjuer og verbale protokoller. Den siste metoden ble brukt i forbindelse med vurderinger av tekster som ble skrevet av studentene.

Resultater fra studiet viste at det var mangel på felles forståelse av standarder blant lærere og studenter. Elevene slet med å forstå standardene som ble satt av lærerne og de hadde alle ulik oppfatning av hva målene og vurderingskriteriene var. Elevene syntes egenvurdering av tekster var vanskelig og var usikre på hva som var forventet av dem i skriveoppgaven. De manglet tekstplanlegging i skriveprosessen, og det ble også sett at elementer som grammatikk og rettskriving ble fremhevet framfor dypere argumentasjoner.

Det er viktig at det fokuseres på validitet under implementeringa av læreplanen. Hvis det ikke tas hensyn til alle læreplanmålene, vil dette true validiteten. Så også hvis elever og lærere benytter ulike standarder i vurderingsprosessen. For å sikre validitet i klasserommet, kan validitetskjeden være et nyttig verktøy å bruke.

In the Norwegian school system, there are not many guidelines to how teachers should go about in the process of implementing the curriculum into classroom practices. Teachers and students must create a meaning of the curriculum and the way they do this depends on the different standards they employ. This study aimed to investigate the interaction between the curriculum and the employed practices, where the main objective was to examine how teachers and students made sense of standards in the assessment process. Consequently, I carried out a case study of a validity chain that is known to describe elements like curriculum aims, learning goals, teaching methods and assessments.

The study was carried out in two upper secondary schools in the English vocational classroom where both teachers and their students participated. This group was chosen as a limited amount of research has been carried out in this area. Data was collected through qualitative interviews and verbal protocols. The latter method was used in connection with an assessment of texts which were written by the students.

The study found that there was a lack of shared sense-makings amongst teachers and students in the process of implementing the curriculum. The students struggled to make sense of the standards set by the teachers, and they all had their different understandings of what the goals and assessment criteria were. The students found self-assessment to be difficult and were uncertain about what was expected of them in the writing task. In the writing process, there was a lack of text planning amongst the students. It was also seen that surface features like grammar and spelling were highlighted.

Teachers must focus on validity in the process of putting the English curriculum into practice. If they are not paying attention to all of the curricula like intended, this will threaten the validity. So also, if students and teachers employ different standards in the assessment process. The validity chain could be a useful tool to employ to ensure validity in the English classroom.