Pictures on Mathematics Tests - an eye movement analysis

Abstract

Forskning på multimedia i læringssituasjoner er et veletablert felt. På lignende vis finnes det veldig mye forskning om vurdering. Kombinasjonen av disse forskningsfeltene, altså bruk av multimedia i vurderingssammenheng, er derimot lite utviklet. Noen studier som ser på multimediaeffekten i problemløsning og i testing finnes, og arbeid har blitt begynt for å utvikle en kognitive teori om multimedia for vurdering ut fra de mer velkjente teoriene kognitiv belelastningsteori og kognitiv teori om multimedia for læring.

På grunn av denne mangelen på forskning om multimedia og vurderinger, har denne oppgaven som mål å utforske hvordan inkludering av bilder påvirker elever sine lesemønstre og prestasjoner under løsing av en matematikktest. Spørsmålet var om det å inkludere enten et dekorativt eller et representativt bilde påvirker resultatene av testen eller lesemønstrene til elevene. For å besvare disse spørsmålene, bidro atten elever fra en skole i Midt-Norge ved å løse en matematikktest mens øyebevegelsene deres ble tatt opp av en eye tracker. Resultatene diskuteres i henhold til teoriene nevnt ovenfor og lignende tidligere forskning.

Konklusjonen fra resultatene var en ikke-signifikant indikasjon på at de dekorative bildene hadde en liten til medium negativ effekt på antall riktige svar, mens analyse av øyebevegelsene til elevene viste at de leste oppgaver med dekorative bilder noenlunde likt som oppgaver uten bilder. For representative bilder derimot, var lesemønstrene noe annerledes, mens testresultatene var omtrent de samme som for oppgaver uten bilder. Elevene brukte litt mer tid på å løse oppgavene med bilder, men også denne forskjellen var ikke-signifikant.

Multimedia learning is a popular and well developed research field. Research on assessment is likewise widespread and deeply researched. The combination of multimedia assessment however, has received little attention until recently. A handful of studies exploring multimedia in testing exist, and there have been work done to develop a Cognitive Theory of Multimedia Assessment from the more well established Cognitive Load Theory and Cognitive Theory of Multimedia Learning

On the basis of this lack of research, this thesis aims to investigate how pictures affect students’ reading patterns and performance on a mathematics test. The goal was to look for differences between test items that included or did not include representational and decorative pictures. To do so eighteen students from a highschool in mid-Norway participated and solved a test consisting of six exam-like problems in the subject Matematikk 1P. While they solved the test, their eye movements were recorded in order to gain insights into how they read the test items. The results of both performance and reading patterns are discussed in the context of the cognitive theories mentioned above, as well as previous similar research.

The results of the test indicated that decorative pictures might have had a small to medium negative effect on test scores, while the eye tracking analysis showed that students’ reading patterns were mostly altered in the presence of representational pictures. Test items with representational pictures took slightly longer to solve than those without pictures, although no significant effect sizes on performance was found.