Eye Tracking Studio – Designing and Evaluating a Feedback System Utilizing Eye-Tracking to Improve Remote Collaboration Between Pair Programmers

Abstract

Fjernparprogrammering har de siste årene sett en økning i popularitet, spesielt på grunn av økt bruk av hjemmekontor. Fjernsamarbeid har imidlertid ikke alle fordelene som samlokalisert samarbeid. Det er mangel på ikke-verbale signaler, og referansekommunikasjon er vanskeligere med fjernarbeid. Disse ulempene påvirker kvaliteten på samarbeidet og den kognitive belastningen til fjernparprogrammererne. Ved hjelp av øyesporere har vi designet og evaluert et tilbakemeldingssystem for å redusere ulempene med fjernparprogrammering. Systemet er implementert som en Visual Studio Code-utvidelse som gir blikkbevissthet og kognitive belastningsbaserte tilbakemeldinger i sanntid. Tilbakemeldingssystemet visualiserer parprogrammerernes blikk i kildekoden, og indikerer når de ser på det samme området. Systemet gir også tilbakemelding når deres kognitive belastning er for høy. Vi gjennomførte et innen-emne-designeksperiment for å teste og evaluere tilbakemeldingssystemet. Parprogrammererne fullførte to feilsøkingsoppgaver i et simulert fjernparprogrammeringsmiljø med og uten hjelp fra tilbakemeldingssystemet. Tilbakemeldingssystemet hjelper fjernparprogrammerere med å koordinere fokus med partnerne sine på en ikke-distraherende måte. Programmerere brukte mer tid på å se på det samme kodeområdet. Det vil si at systemet fremmer økt felles fokus. Systemet reduserer imidlertid ikke programmerernes kognitive belastning. Den kognitive belastningsbaserte tilbakemeldingen var påtrengende, men nyttig. Fremtidig arbeid bør undersøke hvordan kognitive belastningsbaserte tilbake\-meldinger kan bedre utløses og hvordan man kan vise frem tilbakemeldingene.

Remote pair programming has in recent years seen a surge in popularity, especially with the work from home movement. However, remote collaboration does not carry all the benefits of co-located collaboration. There is a lack of non-verbal cues, and referential communication is more difficult with remote work. These disadvantages affect the quality of collaboration and the cognitive load of the remote pair programmers. With the help of eye trackers, we design and evaluate a feedback system for remediating the disadvantages of remote pair programming. The system is implemented as a Visual Studio Code extension which provides real-time gaze awareness and cognitive-load-based feedback. The feedback system visualizes pair programmers' gazes in the source code, and it indicates when they are looking at the same area. It also provides feedback when their cognitive load is too high. We conducted a within-subject-design experiment to test and evaluate the feedback system. Pair programmers completed two debugging tasks in a simulated remote pair programming environment with and without the feedback system. The feedback system helps remote pair programmers manage their focus with their partners in a non-distracting manner. Programmers spent more time looking at the same code area, i.e., the system encourages and increases joint focus. However, the system does not reduce the programmers' overall cognitive load. The cognitive-load-based feedback was intrusive, although helpful. Future work should investigate how cognitive-load-based alerts can be better triggered and how to deliver the feedback.