SmartU: Investigating the effects of visualizations in adaptive self- assessment systems

Abstract

Det økte fokuset på digitalisering av læring de siste årene har åpnet nye dører for hvordan man tenker om læring på digitale flater. Dashbord for læringsanalyse (Learning Analytics Dashboards, LADs) er et av områdene som har fått økt oppmerksomhet, og består i hovedsak av visualisert informasjon om en elevs lærevaner og personlige læringshistorikk. Denne informasjonen er forventet å øke selvbevisstheten til eleven og som en støtte til beslutningstaking og selvregulering. Hvordan et dashbord for læringsanalyse skal bygges opp, hvordan det skal støtte underliggende læringsteori og på hvilken måte det skal vise frem forskjellige typer informasjon på en lettfattelig og effektiv måte, er alle utfordringer som må tas hensyn til når en slik løsning designes og lages.

Denne forskningen ser nærmere på om forskjellige typer visualisert statistikk kan påvirke elevers motivasjon, deres prestasjoner i selvevalueringer og deres overordnede læringsutbytte. For å se nærmere på dette ble det lagd et nytt dashbord for læringsanalyse kalt SmartU og utført en eksperimentel studie. Under studien ble data hentet inn gjennom en spørreundersøkelse, intervjuer og brukerdata fra elevenes interaksjon med SmartU. Resultatene fra data analysen indikerer at flere komponenter i systemet blir betraktet som nyttige av brukerne og at de bidrar til økt motivasjon og læringsinnsats, men ingen statistisk signifikant økning i prestasjon.

The increased focus on digitizing learning in recent years has created new opportunities for how learning in digital environments is perceived. Learning Analytics Dashboards (LADs) is one of the areas receiving increased attention, and they mainly visualize information about a student's learning habits and personal learning history. This information is expected to increase the student's self-awareness and to support decision-making and self-regulation accordingly. How to build a LAD, how to support the underlying learning theory and how to present different types of information in an easy-to-understand and efficient manner, are all challenges that must be considered when designing and creating such a solution.

The present thesis investigates whether different types of visualized statistics can affect students' motivation, their performance in self-assessments and their overall learning outcomes. To address this objective, a new LAD called SmartU was developed and an experimental study was conducted. During the study, data was collected through questionnaires, interviews and usage-data from students' interactions in SmartU. Results from the data analysis indicate that several components of the system are considered useful by the users and that they contribute to increasing motivation and learning effort, but there was no statistically significant increase in performance.