Visualizing Repository Data to Facilitate Feedback in Software Engineering courses

Abstract

Planlegging og utvikling av programvare er fundamentale egenskaper å lære for datastudenter. I industrien har Git blitt det foretrukne verktøyet for versjonskontroll og blitt en viktig del av utdanningsløpet til datastudenter.

I denne oppgaven utforsker vi hvordan data fra Git, kodebrønner, og prosjektstyringssystemer anvendes i forskning for å bedre kvaliteten på programvareutviklingsfag, samt bruk i evaluering og oppfølging av studenter. Videre utvikles det en prototype i et tredjeparts visualiseringsverktøy som gir studenter visualiserte tilbakemeldinger på hvordan de jobber på prosjekter i programvaretuviklingsfag. Til slutt utføres brukertester fordelt på 2 runder for å utbedre brukskvalitet og få kvalitative data på hvordan studenter og studentassistenter verdsetter plattformen.

Denne avhandingen har i hovedsak to bidrag: 1) Økt kvalitativ kunnskap om hvordan studenter innen programvareutvikling verdsetter innsikt i prosjekter gjennom et interaktivt visualiseringsverktøy, og viktige poenger til utviklingen av slike systemer. 2) Økt kunnskap om fordelene og begrensningene ved å bruke tredjeparts visualiseringsverktøy for å utvikle visualiseringer for studentgrupper i fag.

Vi viser at både studenter og studentassistenter er positive til et visualiseringsverktøy som gir dem raskt tilbakemelding på prosjektene sine og forsterker tilbakemeldingssyklusen. I tillegg viser vi at tredjeparts visualiseringsverktøy har begrensninger som påvirker brukskvaliteten til studenter, men er mer lovende for studentassistenter.

Denne kunnskapen kan bygges videre på ved å utvikle en mer generaliserbar og anvendbar plattform for studenter i programvareutviklingsfag.

Learning to plan and build software in collaboration is essential for Computer Science (CS) students to learn. In the industry, Git has become the favored Version Control System (VCS), and an important part of CS education.

We explore how current research analyses data from Git, repository hosting services, and project management systems to improve the quality of Software Engineering courses and is used to evaluate and counsel students. Then a prototype is built using third-party visualization software to give student groups visualized feedback on projects in Software Engineering courses. Finally, usability tests are conducted in two rounds to discover and resolve usability problems and receive qualitative data on how students and Teaching Assistants (TAs) value the visualization tool.

This thesis has two main contributions. First, 1) Increased qualitative knowledge of how lower-level Computer Science students value insight into a course project through an interactive visualization tool. Important considerations when developing such tools are also covered. Lastly, 2) increased knowledge of the benefits and limitations of using third-party software to create visualizations for student groups.

We find that students and TAs react positively to a visualization tool that continuously gives them feedback on their projects, amplifying their feedback loop. Third-party visualization software is found to have limitations affecting students’ usability. However, the effects are more promising for Teaching Assistants (TAs).

This knowledge, and related research, can be built upon in further research to create a more generalizable and applicable platform for students in Software Engineering courses.