Brugertest eller A/B-test?
En brugertest forklarer hvorfor noget ikke virker: Du observerer nogle få personer der bruger tjenesten, og ser hvor de går i stå. En A/B-test måler hvad der virker bedst ved at vise to varianter til mange besøgende og tælle udfaldet. Brugertest passer før udviklingen og kræver få deltagere; A/B-test kræver meget trafik og passer efter lancering.
Brugertest og A/B-test lyder som to måder at gøre det samme på, nemlig at teste en digital tjeneste. I virkeligheden besvarer de forskellige spørgsmål, kræver forskellige forudsætninger og hører hjemme i forskellige faser. Vælger du den forkerte metode til situationen, risikerer du enten et svar du ikke kan stole på, eller en dyr test der aldrig kunne gennemføres.
Grundforskellen: hvorfor over for hvad
Den afgørende forskel er hvilket spørgsmål metoden besvarer.
En brugertest er kvalitativ. Du lader nogle personer bruge tjenesten mens du observerer, og du ser hvor de tøver, misforstår eller giver op. Frem for alt hører du hvorfor: De tænker ofte højt, og du forstår logikken bag fejltrinene. Metoden besvarer spørgsmålet: Hvorfor virker det her ikke?
En A/B-test er kvantitativ. Du viser de besøgende to varianter af samme side, deler trafikken mellem dem og måler hvilken der klarer sig bedst: flere køb, flere tilmeldinger, færre frafald. Du får ikke at vide hvorfor, men du får statistisk belæg for hvad der virker bedst. Metoden besvarer spørgsmålet: Hvilken variant vinder?
Kort sagt: Brugertesten forklarer årsagen, A/B-testen påviser udfaldet. Den ene giver dig forståelse, den anden giver dig tal.
Skala, trafik, omkostninger og tid
Metoderne adskiller sig lige så meget i hvad de kræver som i hvad de giver.
| Metode | Kræver og koster |
|---|---|
| Brugertest | En håndfuld deltagere, ingen trafik: hurtigt i gang, lav tærskel |
| A/B-test | Meget trafik og en tjeneste i drift: længere løbetid, teknisk opsætning |
En brugertest kræver ikke mere end fem-seks deltagere for at afsløre de fleste alvorlige problemer fordi de samme forhindringer har en tendens til at ramme flere. Den kan laves på en prototype før noget er bygget, og du kan være i gang på få dage. Omkostningen ligger i tiden til at rekruttere, observere og samle resultaterne.
En A/B-test forudsætter en fungerende tjeneste med rigtig trafik. For at skelne en reel forbedring fra tilfældigheder kræves der tilstrækkeligt mange besøgende i hver variant, ofte tusindvis om ugen. Har siden lidt trafik, tager testen urimeligt lang tid eller giver ikke noget sikkert svar. Omkostningen ligger i den tekniske opsætning og i ventetiden før resultatet er statistisk sikkert.
Beslutningsmatrix: fase og trafikvolumen
Hvilken metode der er den rigtige, afgøres frem for alt af hvor i livscyklussen du er og hvor meget trafik du har.
- Før udvikling eller lancering: brugertest, altid. Der er ingen trafik at måle på, og det er nu det er billigst at opdage at flowet er tænkt forkert. En test på en prototype kan spare uger brugt på at bygge funktionalitet der ikke kan bruges.
- Efter lancering, lav trafik: stadig brugertest. Uden tilstrækkelig volumen kan man ikke køre en pålidelig A/B-test, og det kvalitative svar er mere værd end et usikkert tal.
- Efter lancering, høj trafik: A/B-test til finpudsning. Når du har volumen, kan du påvise hvilken overskrift, knap eller layout der faktisk konverterer bedst, i stedet for at gætte.
Et konkret eksempel: En virksomhed skal lancere en ny checkout. Først testes den på fem brugere der får lov at handle i en prototype. Det afslører at et obligatorisk felt forvirrer, og feltet fjernes før lanceringen. Et halvt år senere, når trafikken er vokset, køres en A/B-test på to varianter af knapteksten for at presse de sidste procent ud af konverteringen. Den rigtige metode i den rigtige fase, ikke den ene i stedet for den anden.
Den mest almindelige fejl: forkert metode til trafikken
Den dyreste fejl er at køre en A/B-test på en tjeneste der ikke har trafikken til det. To varianter sættes op, ugerne går, og tallene peger i alle retninger uden nogensinde at blive sikre. Datagrundlaget er for lille. Man drager alligevel en konklusion, ofte en forkert, og bygger videre på den. En kvalitativ brugertest havde givet et klart svar på en brøkdel af tiden.
Den omvendte fejl findes også: at stole udelukkende på brugertests længe efter lanceringen når der er rigeligt med trafik og en A/B-test ville kunne afgøre en uenighed objektivt. Fem personers meninger er fremragende til at finde problemer, men svage som bevis for hvilken af to fungerende varianter der sælger bedst. Den rigtige metode følger af hvor du er og hvor meget trafik du har, ikke af vane eller af hvilken metode der føles finest.
Vil du have afklaret hvilken metode der passer til netop din situation, indgår både brugertests og konverteringsarbejde i vores ydelser. Kontakt os, så ser vi på hvor du står.
Ofte stillede spørgsmål
Hvad er forskellen på brugertest og A/B-test?
En brugertest er kvalitativ: Du lader nogle få personer bruge tjenesten og observerer hvor de tøver og hvorfor. En A/B-test er kvantitativ: Du viser to varianter til et stort antal besøgende og måler hvilken der giver det bedste resultat. Brugertesten forklarer hvorfor noget sker, A/B-testen påviser i tal hvad der sker. De besvarer forskellige slags spørgsmål.
Hvornår skal jeg bruge en brugertest i stedet for en A/B-test?
Brug en brugertest når du vil forstå hvorfor noget ikke virker, og især før tjenesten er bygget eller lanceret. Den kræver kun en håndfuld deltagere og afslører problemer som tal ikke kan forklare. En A/B-test forudsætter at der allerede findes en fungerende tjeneste og rigeligt med trafik at måle på, og derfor passer den senere i livscyklussen.
Hvor meget trafik kræver en A/B-test?
Mere end mange tror. For at skelne en reel forbedring fra tilfældigheder skal der være tilstrækkeligt mange besøgende og konverteringer i hver variant, ofte tusindvis om ugen for et pålideligt resultat. Har siden lidt trafik, tager testen urimeligt lang tid eller giver slet ikke et sikkert svar. Så er en kvalitativ brugertest næsten altid en bedre investering.
Hvor mange deltagere skal der være i en brugertest?
Færre end man tror. Allerede fem personer afslører som regel de fleste af de alvorligste problemer i et flow fordi de samme forhindringer har en tendens til at ramme flere. Pointen er ikke statistisk sikkerhed, men at se mønstre i adfærden. Flere deltagere giver marginalt mere, men gevinsten aftager hurtigt efter de første par håndfulde deltagere.
Kan man bruge begge metoder i samme projekt?
Ja, og de supplerer hinanden godt. En almindelig tilgang er at bruge brugertests før og lige efter lanceringen for at finde og forstå problemer og derefter A/B-test til at finpudse detaljer når trafikken er vokset. Kvalitativt for at vide hvad der bør ændres, kvantitativt for at påvise at ændringen faktisk hjalp.