Predicting students performance with the use of eye tracking and facial recognition to inform design principles for IDE intervention during collaborative debugging

Abstract

Programmering og aktiviteter som inngår i informatikk-studier krever komplekse kognitive prosesser, og involverer flere følelsesmessge og mentale dimensjoner. Ved å bruke datannsamling fra flere kilder, kan vi få innsikt i disse dimensjonene, og multimodale data er en måte å visualisere og kvantifisere kompleksiteten i disse prosessene. Denne studien har reprodusert og bygd på et tidligere master-eksperiment, der par av studenter (20 par) har blitt eksponert for en debuggingoppgave i en samarbeidssetting, i mens deres blikkmønstre, fysiologiske og ansiktsdata har blitt innsamlet. Egenskaper (features) ved disse innsamlede dataene har blitt ekstrahert, og videre analysert, for identifiserte og vurdere hvilke av disse egenskapene som bærer mest viktighet for å kunne forutse måloppnåelse i en samarbeidssetting i programmering. Disse egenskapene har blitt diskutert, med mål for å informere fremtidig arbeid, om hvordan man kan bruke egenskapene til å designe feedback i en sammarbeidsetting, for å forbedre læring, og måloppnåelse.

Programming and activities related to computer science studies require complex cognitive process, involving a number of emotive and mental dimensions. Employing multiple data capturing streams has shown to glean insight in these dimensions, and multimodal data is a way to visualise and quantify the complexities of these processes. This study has replicated and built upon a previous experiment, exposing pairs of students (20 pairs) to a a debugging task in a collaborative setting, while capturing data with eye-tracking, physiological and facial data. Features have been extracted from this captured data, and further analyzed to identify and decide which of these features bears the most importance in predicting students performance while debugging in a collaborative setting. These important features have been discussed to inform future work on how to design interventions in a collaborative setting, to enhance student learning and performance.