Visualizing Data from Adaptive Self-Assessment to Support Teaching and Learning Activities

Abstract

Dashbord for læringsanalyse er en fremvoksende type verktøy som kan brukes av både lærere og elever. Læringsdata om studenter kan samles inn, aggregeres og visualiseres for å gi både elever og lærere praktisk informasjon for vurdering, intervensjon og tilpasning. Tidligere studier har rapportert om blandede resultater for slike visualiseringer, med lærere som sliter med å tolke informasjonen som er presentert. Dersom denne informasjonen vises i et kortfattet format som legger til rette for handling så er det funn som tyder på at slike systemer kan hjelpe lærere i å identifisere studenter og elever som er i faresonen for å stryke, samt overvåke progresjon og læring.

I denne oppgaven har vi gjennomgått litteraturen for å oppsummere kravene til et dashbord for læringsanalyse for lærere, og utvide det eksisterende SmartU elev- og studentdashbordet med et lærerdashbord. Ved å bruke en design og utviklingsstrategi har vi utviklet en webapplikasjon for lærere. Denne webapplikasjonen ble testet gjennom en brukertest der deltakere med undervisningserfaring brukte systemet under observasjon. Data ble også samlet inn fra intervjuer og spørreskjema. Vår hypotese er at et dashbord for læringsanalyse effektivt kan støtte lærernes mål, og studiens resultater indikerer at slike dashbord kan støtte lærere i å identifisere problemer med lærestoffet og elever som sliter. Imidlertid ble det funnet forskjeller mellom lærere som antyder at dashbordet kanskje ikke passer med alle typer undervisning, eller at dashbordet må kunne tilpasses for å passe med ulike typer undervisningsformer og utdanningsnivå.

An emerging tool used by both learners and tutors is Learning Analytics Dashboards (LADs). Students' learning data can be collected, aggregated, and visualized to provide both learners and tutors alike with actionable information for assessment, intervention, and adaptation. Previous studies have reported mixed results for such visualizations, with teachers struggling to interpret the presented information, although if this information is displayed in a concise and actionable format, it has been found that these systems help teachers identify students at risk and monitor progress and learning.

In this thesis we have reviewed the literature to collect the requirements of a teacher-facing dashboard, extending the pre-existing SmartU student dashboard. Using the design and creation strategy we have developed a web application. This became the artifact of a user test where participants with teaching experience used the system under observation. Data was also collected from interviews and a questionnaire. Our hypothesis is that an LAD can effectively support teachers’ objectives. The result of the study indicates that LADs can support teachers in identifying struggling students or issues in the learning material. However, differences were found between teachers and implies dashboards might not fit with every type of tutoring, or that the dashboard must be customizable to fit with different types of education.