Collaborative code editing Tool: Design and Evaluation

Abstract

Kombinering av sensordata fra ulike datakilder er blitt vist til å gi ny og dypere forståelse av læringsprosessen. Læringsteknologi er som oftest forsket på og analysert gjennom begrensede datakilder oftest basert på direkte input som tasteklikk. Bruken av alternative datakilder som fysiologisk data i forskning av læringsprosessen, samt kombinasjonen av datakilder, er fortsatt i en tidlig fase; spesielt for læring ved samarbeid. Denne rapporten beskriver utvikling og implementasjon av en samarbeids-basert kode editor på web og datainnhenting fra flere kilder som (1) eye-tracker, (2) sensor-armbånd, (3) webcamera, (4) lydopptak, samt synkronisering av datakildene. Etter utviklingen av systemet ble det utført 15 par-programmering eksperimenter (30 deltakere) for samling av data. Innsamlet data er videre analysert for å utforske hvilke variabler som er prediktive for prestasjon i par-programmering. Resultatene viser at samlingen av alle variabler fra samtlige sensorer predikerte parenes prestasjon med en feilrate på 8\%, og sank kun til 7\% ved inkludering av mål på forkunnskaper. Enkelte variabler, som mål på kognitiv belastning, ble funnet til å være viktigere enn forkunnskaper for prediktering av prestasjon. Funnene i dette arbeid bidrar med nye innsikt i forståelse par-programmering prosessen som kan brukes til å forbedre design av fremtidige læringsteknologier.

Fusing data from multiple modalities is shown to be valuable in gaining further understanding of the learning experience. The learning technology research field is mostly analysed through easy-to-collect data as click-streams or log-data, and the incorporation of multimodal data is in the early stages; especially for the collaborative experience which is still quite unexplored. This article describes the development of a collaborative web-based code editor for data collection, and the integration of data streams from multiple modalities: (1) eye-tracker, (2) wristband, (3) video, and (4) audio. Following the development, data was collected from 15 pair-programming experiments (30 participants) to investigate the predictive accuracy of multimodal data for programming performance in collaborative settings. The results show that a fusion of all extracted features from the different modalities predicted pairs performance with an error-rate of 8\%, only decreasing to 7\% when including a measure of prior knowledge. Moreover, some features extracted from sensor data, (e.g., cognitive load) is shown to be more important than prior knowledge in increasing prediction accuracy. The findings in this research provides new insight into the collaborative programming experience that can be used in designing learning technologies.