A Tool for In-Video Feedback

Abstract

Learning Analytics (LA) på navigasjonsmønstre blir ikke brukt nok til sanntidsformål. Mange forskningsinnsatser ønsker å forbedre læringsprosessene ved bruk av overlays og notifikasjoner. Å bruke en LA-modell for å detektere og ekstrahere ut lærerens informasjonsbehov og gi dem eksterne ressurser knyttet til læringsmaterialet er ennå ikke utforsket. Målet med denne oppgaven er å utforske et verktøy som gir tilbakemelding basert på Stack Overflow i programmeringsvideoforelesninger. Mer bestemt, så undersøker den students oppfatninger av dette verktøyet, og om verktøyet pålitelig kan ekstrahere og oppdage studentens informasjonsbehov. For å teste dette ble systemet Video Lecture Teaching Assistant (ViTA) utviklet. ViTA oppdager studenter som sliter i sanntid ved å analysere hendelseslogger, bruker RAKE-algoritmen (Rapid Automatic Keyword Extraction) på transkripsjoner for emneutvinning og gir tilbakemelding i form av relevante Stack Exchange lenker. En empirisk studie ble gjennomført med 9 deltakere. ViTA viste seg å være i stand til å detektere og ekstrahere ut students informasjonsbehov, men ytterligere undersøkelser må gjøres for relevansen til tilbakemeldingene.

Learning Analytics (LA) on navigation patterns is not utilized enough for real-time purposes. Many research efforts seeks to improve the learning processes by adding overlays or prompting for actions. Using a LA model to detect and extract a learner's informational need and providing them external resources related to the learning material has not yet been explored. The aim of this thesis is to investigate a tool for in-video feedback that is based on Stack Overflow for programming related video lectures. Specifically, it investigates learners' perceptions of this tool and if the tool can reliably extract and detect a learners' informational need. To test this, the system Video Lecture Teaching Assistant (ViTA) was developed. ViTA detects struggling students in real-time by analyzing event logs, uses the Rapid Automatic Keyword Extraction (RAKE) algorithm on video lecture transcripts for topic extraction, and gives feedback in the form of relevant Stack Exchange links. A small empirical study was conducted with 9 participants. ViTA proved to be able to detect and extract learners informational needs, but further investigations must be made for the feedback relevance.