Continuous Experimentation: A Multi-Case Study on How Practitioners Create Software Products Using Hypotheses

Abstract

Det er en vanskelig oppgave for et programvareutviklingsteam å forstå hvilke funksjoner som gir mest verdi for brukerne deres. Tradisjonelt sett har kravarbeid tatt dette ansvaret, men det har sine ulemper. Derfor har praktikere begynt å ta i bruk mer brukerorienterte måter å finne ut av hva brukerne deres har lyst på. The Lean Startup er en bok som hjelper startups med denne typen problemer ved å validere hypoteser om produktene deres ved hjelp av eksperimenter, og den har inspirert nye måter å lage programvare på. I denne avhandlingen studeres prosessene kjent som kontinuerlig eksperimentering og hypotesearbeid. Via et multi-casestudie av to etablerte norske programvareorganisasjoner ble det samlet inn intervjuer og dokumenter for å beskrive disse prosessene. Disse dataene ble analysert ved å utføre en deduktiv tematisk analyse, med mål om å gi beskrivelser som vil gjøre det lettere for praktikere å ta i bruk og å utvikle sin egen programvareutviklingsprosess. Resultatene viste at bruken av hypoteser og eksperimenter stort sett ble gjort ved hjelp av magefølelse. Hypotesene er laget basert på flere forskjellige datakilder generert av brukerne. De er dokumentert i maler, analysert og prioritert i faser lignende kravarbeid. Deretter blir de validert ved å lage lavinnsatsprototyper i en AB-test. Videre ble det også konkludert med at disse to prosessene fremmer flere aspekter ved smidig programvareutvikling, noe som fungerer som gode supplerende argumenter for å ta i bruk denne typen eksperimentdrevet programvareutvikling.

It is hard task for software development teams to understand what features will bring the most value to their users. Traditionally, requirements engineering has taken this responsibility, but it has it´s disadvantages. Hence, practitioners have started to adopt more user-oriented ways of figuring this out. The Lean Startup is a book that helps startups with these kinds of problems by validating hypotheses about their products using experiments, and it has inspired new ways of creating software. In this thesis, the processes known as continuous experimentation and hypotheses engineering are studied. Through a multi-case study of two established Norwegian software organisations, interviews and documents were collected in order to describe these processes. This data was analysed by performing a deductive thematic analysis, with the goal of giving descriptions that will make it easier for practitioners to adopt and evolve their own software development process. The results showed that the use of hypotheses and experiments was mostly done using gut-feeling. The hypotheses are created based on multiple different data sources generated by the users. They are documented in templates, analysed, and prioritised similar to that of requirements. Then, they get validated by creating low-effort prototypes in an AB-test. Furthermore, it was also concluded that these two processes further several aspects of agile software development, which serves as good supplementary arguments for adopting this kind of experiment-driven software development.