Brukbarhetstesting av en mobil butikkløsning i laboratorium og felten: En sammenligning av tre metoder

Abstract

I dette studiet har vi sammenlignet resultatene fra tre metoder for å brukbarhetsteste en mobil butikkløsning. De tre metodene er en felttest utført i en dagligvarebutikk, en fullskalatest i laboratorium med realistisk kontekst og en test i laboratorium uten realistisk kontekst. Det var fem testpersoner i hver metode, og testpersonene i felten skilte seg ut som en egen brukergruppe med signifikant høyere alder og dårligere datakunnskaper. Dette kan til en viss grad ha påvirket validiteten til funnene. Oppdagelsen av antall brukbarhetsproblemer har vist seg å være nesten lik mellom de tre metodene. Det er heller ingen stor forskjell på alvorlighetsgraden til problemene som ble oppdaget i de ulike metodene. Ingen av metodene klarte å avdekke mer enn 59% av de oppdagede brukbarhetsproblemene. Det viste seg at alle problemene i teorien kunne blitt oppdaget i alle tre metodene, og at ingen problemer dermed var knyttet direkte til konteksten i en metode. Etter en gjennomgang med butikkløsningens systemleverandør viste det seg at det eneste kritiske problemet som bare ble oppdaget i felten ikke ble prioritert å rette av dem. Dermed kunne alle kritiske prioriterte problemer bli oppdaget i laboratoriemetodene. Av de prioriterte problemene ble bare 3 av 7 kritiske brukbarhetsproblemer oppdaget i felten. Den lave realismen i laboratoriet uten realistisk kontekst førte til oppdagelsen av et falskt positivt problem. Det var knyttet til at testpersonene ikke skjønte at de kunne benytte varelappene som lå på bordet under hele brukbarhetstesten. Det falske positive problemet ga innvirkning på både effektiviteten og tilfredsheten. Tidsbruken var lik mellom de forskjellige metodene hvis vi trekker fra den ekstra tiden det falske positive problemet medførte at testpersonene brukte i laboratoriet uten realistisk kontekst. Tilfredsheten var best i fullskalametoden, mens den var en del lavere for de andre metodene. Grunnen til det skyldes trolig brukergruppen i felten og det falske positive problemet i laboratoriet uten realistisk kontekst. På grunnlag av de to momentene blir det derfor vanskelig å sammenligne tilfredsheten. Studien har vist at felttesten ikke gir noen ekstra verdi og at de utfordringene med å teste i felten ikke er verdt strevet. Vi mener at en enkel laboratoriemetode med begrenset gjenskapning av realistisk kontekst, er tilstrekkelig for å avdekke alle brukbarhetsproblemer knyttet til mobile butikkløsninger. Vi anbefaler bruken av ekte varer i denne metoden for å unngå falske positive problemer. Det er ikke nødvendig å benytte statister som spiller kunder. Under felttesten ble de butikkansatte avbrutt tolv ganger av kunder, men de var tydeligvis vant til det, og avbrytelsene førte ikke til problemer vedrørende gjennomføringen av oppgavene.