Användartest eller A/B-test?

Användartest och A/B-test låter som två sätt att göra samma sak – att testa en digital tjänst. I själva verket svarar de på olika frågor, kräver olika förutsättningar och hör hemma i olika skeden. Väljer du fel metod för läget riskerar du antingen ett svar du inte kan lita på, eller ett dyrt test som inte var möjligt att köra.

Grundskillnaden: varför mot vad

Den avgörande skillnaden är vilken fråga metoden besvarar.

Ett användartest är kvalitativt. Du låter några personer använda tjänsten medan du observerar, och du ser var de tvekar, missförstår eller ger upp. Framför allt hör du varför – de tänker ofta högt, och du förstår logiken bakom felstegen. Metoden svarar på frågan: varför fungerar inte det här?

Ett A/B-test är kvantitativt. Du visar två varianter av samma sida för besökare, delar trafiken mellan dem och mäter vilken som presterar bäst – fler köp, fler registreringar, färre avhopp. Du får inte veta varför, men du får ett statistiskt belägg för vad som fungerar bättre. Metoden svarar på frågan: vilken variant vinner?

Kort sagt: användartestet förklarar orsaken, A/B-testet bevisar utfallet. Det ena ger dig förståelse, det andra ger dig siffror.

Skala, trafik, kostnad och tid

Metoderna skiljer sig lika mycket i vad de kräver som i vad de ger.

Ett användartest behöver inte mer än fem, sex deltagare för att avslöja de flesta allvarliga problemen, eftersom samma hinder tenderar att drabba flera. Det går att göra på en prototyp innan något är byggt, och du kan vara igång på dagar. Kostnaden ligger i tiden att rekrytera, observera och sammanställa.

Ett A/B-test förutsätter en fungerande tjänst med riktig trafik. För att skilja en verklig förbättring från slump krävs tillräckligt många besökare i varje variant – ofta tusentals per vecka. Har sidan lite trafik tar testet orimligt lång tid eller ger inget säkert svar. Kostnaden ligger i den tekniska uppsättningen och i väntetiden innan resultatet är statistiskt säkert.

Beslutsmatris: fas och trafikvolym

Vilken metod som är rätt avgörs framför allt av var i livscykeln du är och hur mycket trafik du har.

• Före bygge eller lansering: användartest, alltid. Det finns ingen trafik att mäta på, och det är nu det är billigast att upptäcka att flödet är fel tänkt. Ett test på en prototyp kan spara veckor av byggd men obrukbar funktion.
• Efter lansering, låg trafik: fortfarande användartest. Utan tillräcklig volym går det inte att köra ett tillförlitligt A/B-test, och det kvalitativa svaret är mer värt än en osäker siffra.
• Efter lansering, hög trafik: A/B-test för att finslipa. När du har volym kan du bevisa vilken rubrik, knapp eller layout som faktiskt konverterar bäst, i stället för att gissa.

Ett konkret exempel: ett bolag ska lansera en ny kassa. Först testas den på fem användare som får handla i en prototyp – det avslöjar att ett obligatoriskt fält förvirrar och byggs bort innan lansering. Ett halvår senare, när trafiken vuxit, körs ett A/B-test på två varianter av knapptexten för att pressa konverteringen de sista procenten. Rätt metod i rätt skede, inte det ena i stället för det andra.

Det vanligaste misstaget: fel metod för trafiken

Det dyraste felet är att köra ett A/B-test på en tjänst som inte har trafiken för det. Två varianter ställs upp, veckorna går, och siffrorna pekar hit och dit utan att någonsin bli säkra – för underlaget är för litet. Man drar ändå en slutsats, ofta fel, och bygger vidare på den. Ett kvalitativt användartest hade gett ett tydligt svar på en bråkdel av tiden.

Det omvända misstaget finns också: att förlita sig enbart på användartester långt efter lansering, när det finns gott om trafik och en A/B-test skulle kunna avgöra en tvist objektivt. Fem personers åsikter är utmärkta för att hitta problem, men svaga som bevis för vilken av två fungerande varianter som säljer bäst. Rätt metod följer av var du är och hur mycket trafik du har – inte av vana eller vilken metod som känns finast.

Vill du reda ut vilken metod som passar just ditt läge, ingår både användartester och konverteringsarbete i våra tjänster. Hör av dig så tittar vi på var du står.