Challenges and Possibilities When Process Mining GitLab for a Software Engineering Course

Abstract

Det kan være vanskelig og tidkrevende å gi grundige tilbakemeldinger i store prosjektbaserte emner i programvareutvikling. Detaljerte og regelmessige tilbakemeldinger er nødvendig for å tilrettelegge for effektiv samarbeidslæring.

I dette masterprosjektet er det utført en utforskende casestudie for å undersøke hvordan software repository mining kan implementeres i TDT4140 Programvareutvikling, et prosjektbasert programmeringsemne med 500 studenter fra forskjellige studieretninger. Målet med studien har vært å oppdage utfordringer ved implementering av software repository mining i denne sammenhengen, samt å avdekke om det ville være nyttig for studenter og veiledere.

For å fastslå dette ble det utført kvantitativ og kvalitativ analyse av et spørreskjema besvart av studenter, intervjuer med lærerassistenter og data samlet inn fra studentenes GitLab-repositories for å forsøke å identifisere seks forskjellige dysfunksjoner i teamene: Urettferdig eller ujevnt fordelte arbeidsoppgaver, det blir prioritert for lite tid til å gjennomføre prosjektet, deltagerne er ikke forpliktet til prosjektet, mangel på plan og strategi, dårlig lederskap og for spesialiserte arbeidsoppgaver.

Resultatene viser at selv uten å designe kurset rundt software repository mining, kan man finne en statistisk signifikant korrelasjon mellom metrikker utledet fra GitLab-data og noen av de seks dysfunksjonene. Dette indikerer at analysen av studentenes software repositories kan brukes som hjelp til å identifisere gruppedysfunksjoner. Noen utfordringer ble også avdekket i studien. Parprogrammering og feil i tilordning av GitLab issues gjør det vanskelig å si noe om arbeidsfordeling i en gruppe. Annet arbeid i emnet er ikke representert i GitLab og vil føre til et uriktig bilde av virkeligheten, spesielt i grupper der noen medlemmer fokuserer på programmering og andre mer på annet nødvendig arbeid. Studentene har forskjellig erfaring med programmering og med bruk av Git, noe som kan føre til brukerfeil og svakheter i analysene.

Oppgaven diskuterer disse funnene og avsluttes med råd til emnekoordinatorer som ønsker å bruke software repository mining i lignende emner.

It can be difficult and time-consuming to give elaborate feedback in large project-based software engineering courses. Detailed and regular feedback is a necessity to facilitate effective collaborative learning.

This master’s thesis presents an exploratory case study that examines how software repository mining can be implemented in TDT4140 Software Engineering, a project-based software engineering course with 500 attending students from different programs. The focus has been on discovering challenges when implementing software repository mining in this setting, as well as uncovering whether it would be helpful to students and supervisors.

To determine this, quantitative and qualitative analysis of a questionnaire answered by students, interviews with teaching assistants, and data gathered from the students’ GitLab repositories have been carried out to try to identify six different dysfunctions in the teams: Unfair or unevenly distributed workload, too little time is spent working on the project, the participants are not committed to the project, lack of a plan or strategy for the project, poor leadership, and too specialized tasks.

The results show that even without designing the course around software repository mining, some metrics derived from the students’ GitLab data have a statistically significant correlation to some of the six dysfunctions. This indicates that analysis of the students’ software repositories can be used to aid in identifying group dysfunctions. Some challenges were also revealed in the study. Pair programming and incorrect assignment of GitLab issues make it difficult to determine work distribution within a group. Other work in the course is not represented in GitLab and would lead to a false picture of reality, especially in groups where some members focus on programming and others more on the other required work. The students have a difference in experience with programming and with the use of Git, which can lead to user error and weaknesses in the analyses.

The thesis discusses these findings and concludes with advice to course coordinators who wish to use software repository mining in similar courses.