Vad är ett A/B-test? Vi förklarar A/B-test och split-test

Vad är A/B-testning?

A/B-tester, också kallade split-tester och ibland även multivariata tester, möjliggör för organisationer att bli mer datadrivna och strategiska med sin digitala kommunikation. De undanröjer behovet av gissningar i beslutsfattandet och låter istället data fälla avgörandet. Istället för att spendera värdefull mötestid på att diskutera varenda liten detalj utifrån mer eller mindre kvalificerade gissningar hjälper A/B-testning att fokusera mer på data - snarare än åsikter, känslor eller falska auktoriteter.

Du kan genomföra A/B-testning över många olika marknadsföringskanaler och då testa saker som meddelanden, bilder, färger, objekt, formulärfält och användarflöde mm på en webbplats. Även olika ämnesrader är något du kan undersöka med avsikten att boosta din open rate, dvs hur många som öppnar dina meddelanden. A/B-testning är en vetenskaplig metod för att nå ett visst mål. För att resultaten och slutsatserna i testningen ska vara tillförlitliga krävs dock en genomtänkt planering och ett noggrant genomförande av testet.  

Vad är fördelarna med A/B-tester?

A/B-tester kan förbättra den operativ effektiviteten hos ett företag. Med stöd av data kan det rätta beslutet ofta bli uppenbart efter ungefär en veckas genomförda tester. Att testa, snarare än att gissa sig fram, skapar värdefull information för kreativa team, marknadsföringsteam och operativa medarbetare. 

Med hjälp av A/B-testning kan den ekonomiska kostnaden och alternativkostnaden för att fatta fel beslut minimeras - och själva lärandeprocessen under testet kan i sig vara ovärderlig. Om du tex testar en blå knapp mot en gul knapp mot en jämnt fördelad publik och resultatet visar att knappen verkligen borde vara blå, så har du halverat risken för att tappa kunder. 

Några av världens mest innovativa företag förlitar sig på A/B-tester för marknadsföring och produktbeslut. Vissa företag har integrerat metoden så till den grad att de till och med utvecklat sina egna specialanpassade verktyg för sina testbehov. På LinkedIn produceras ingenting utan föregången A/B-testning. Även Netflix är ökänt för att experimentera med sin registreringsprocess samt innehållseffektivitet, och de uppmuntrar även sina designers att tänka som vetenskapsmän. Under 2019 genomförde Google 17 523 webbtrafik-experiment i realtid, vilket resulterade i 3 620 lanseringar. Jeff Bezos, vd för Amazon, har sagt: 

"Vår framgång är en funktion av hur många experiment vi gör per år, per månad, per vecka, per dag."

Hur fungerar A/B-tester i praktiken?

Att experimentera och testa sig fram är alltså ett bra recept för framgång. Men hur fungerar det rent konkret? 

När du kör ett A/B-test på en webbsida delas trafiken vanligtvis in i olika grupper som kommer att få se ett alternativ vardera (tex blåa respektive gula knappar). Till skillnad från annan typ av forskning där deltagarna får svara på frågor om vad de skulle göra i en helt hypotetisk situation, samlar ett A/B-test in data om vad de faktiskt gör när de ställs inför en verklig situation. 

Den grupp som får se originalknappen brukar kallas för kontrollgruppen och den grupp som får se variationen, eller den nya knappen, brukar kallas för experimentgruppen. Utan att fördjupa oss alltför mycket i själva matematiken om hur man genomför ett A/B-test, så finns det två grundläggande principer som alla bör förstå om experimentet: slumpmässigt urval och statistisk signifikans.

Vad är slumpmässigt urval i A/B-testning?

För att erhålla tillförlitliga resultat bör testpersonerna vara representativa för den riktade kundbasen – exempelvis personer på jakt efter ett par nya stövlar. I de flesta fall delas sedan antalet användare jämnt mellan de olika grupperna. Detta är vad vi menar med slumpmässigt urval, och detta används vanligtvis vid testning för att undvika partiskhet. 

De flesta kommersiella programvaror som kan köra A/B-tester i olika marknadsföringskanaler (inklusive Marketing Cloud) har normalt en inbyggd funktion för slumpmässiga urval så att marknadsförare och icke-tekniska personer enkelt kan utföra tester.

Vad är statistisk signifikans vid A/B-testning?

Statistisk signifikans är ett mått på sannolikheten för ett visst utfall. Till exempel, om en analytiker säger att testresultatet 5 % ökning av konverteringsfrekvensen har en statistisk signifikans på 90 % konfidensintervall, betyder det att du kan vara 90 % säker på att testresultatet är tillförlitligt. 

Analys och forskning ger effektiv testning

Albert Einstein sa en gång: "Formuleringen av ett problem är ofta viktigare än dess lösning, som bara kan vara en fråga om matematisk eller experimentell skicklighet." Det första och viktigaste steget i en forskningsprocess är alltså att identifiera nyckelproblem (eller mätbara affärsmål) och sedan påbörja själva forskningen och analysen. 

Låt säga att ett webbteam inser att de har en underpresterande landningssida. Istället för att hoppa direkt till potentiella lösningar och slumpmässigt experimentera med att ändra bilder, meddelanden eller layout, måste teamet först titta på data för att identifiera problemet närmare. När de tittar på sidanalys och användardata identifierar de kanske att problemet har att göra med deras CTA (Call To Action). Denna typ av genomtänkta och syftesdrivna forskning är ett exempel på en sådan analys som krävs för att genomföra A/B-testningsprocessen.

Generera idéer och skapa hypoteser

När problemet väl är identifierat, börja fundera på lösningar för att lösa det. Dessa lösningar bör också åtföljas av hypoteser om möjliga resultat och effekter.

Här är det viktigt att skilja mellan idéer och hypoteser. En idé är en åsikt om vad, var, vem och hur i ett experiment. En hypotes är anledningen till att idén, om den genomförs, kommer att ge ett bättre resultat än det nuvarande tillståndet. Till exempel; att ändra färgen på knappen från blå till gul är en idé. Tron att färgen på knappen kommer att hjälpa användare att lägga märke till knappen och då resultera i högre klickfrekvenser är hypotesen.

Prioritera och gör en lista på vad som ska testas och när

När du försöker lösa ett digitalt kommunikationsproblem är det mycket du behöver tänka på. Sannolikt finns det många tester du skulle vilja köra och flera hypoteser du skulle vilja testa. Men för att få rena testdata kan du bara testa en hypotes åt gången.

Därför måste du prioritera och göra en ordningslista för testerna. De flesta framgångsrika testprogrammen hanterar dessa beslut baserat på faktorer som strategisk betydelse, ansträngning, varaktighet och effekt. Vissa större program ger också vart och ett av kriterierna poäng. Det föreslagna testet som har högst poäng hamnar längst fram i raden. Inget poängsystem är dock perfekt, och de bör alla förfinas successivt med tiden.

Konkretisera din testplan

När du väl vet vilket test du vill köra är det bäst att ta fram en robust testplan innan du bygger ut testet vidare. En omfattande A/B-testplan bör innehålla följande information:

• Problemet du försöker lösa

• Ett specifikt, mätbart, uppnåeligt, relevant och tidsbaserat mål

• Prövning av hypotesen

• Primära framgångsmått (hur resultaten kommer att mätas)

• Målgrupp (vem du testar och hur många)

• Plats (där testet kommer att genomföras)

• Variabel (vad som ändras mellan de olika grupperna)

• Testets varaktighet för att uppnå sin förutbestämda statistiska signifikans – varaktigheten kommer att påverkas av om splittringen är 50/50 eller 80/20 (vilket bestäms av din risktolerans)

En genomtänkt och väldokumenterad plan skapar en transparens som hjälper dig att anpassa hela din organisation, och det hjälper även till att minska problem med andra tester. Detta är särskilt viktigt om du arbetar i en större organisation där många team genomför flera tester samtidigt.

Bygg ut ditt A/B-test

När du har en testplan är det dags att börja bygga testet. Om du vill ändra knappens färg, bild eller text på en webbsida, gör det med hjälp av en specialiserad testprogramvara. Produkter som Marketing Cloud Personalization i Marketing Cloud möjliggör för användare att ändra färger för ett A/B-test med hjälp av en visuell redigerare. Därmed krävs ingen kodningsförmåga. Ämnesrader för e-post är en annan sak du kan testa direkt i produkten. 

Det kan också vara en bra idé att arbeta med design och användarupplevelse (UX) för att se till att alla förändringar följer varumärkes- och tillgänglighetsstandarder på ditt företag. Om det är ett mer komplext test där kodändringar är inblandade, är det viktigt att låta ditt mjukvaruutvecklingsteam göra en kodgranskning innan du startar testet. Och om ditt företag har resurserna, kör allt genom en kvalitetssäkring innan du går vidare.

Utför och övervaka din split-testning

När du väl sätter igång med testningen är bara halva arbetet gjort. Experimentet måste övervakas regelbundet för att säkerställa att allting fungerar korrekt, särskilt om det pågår under en längre tid. Ibland kommer en förändring av en variabel som testas att göra att testverktyget slutar allokera trafik till den specifika varianten. Vidare kan vissa backend-uppdateringar orsaka att testverktyget fungerar felaktigt eller att data slutar skickas till och från testverktyget. Regelbunden övervakning säkerställer dock att brott mot testreglerna upptäcks så snart som möjligt. Ett datavisualiseringsverktyg som Tableau kan vara till hjälp för att kombinera data och ge en mer holistisk bild av testet.

I traditionell A/B-testing går det till såhär: Du ställer in en testlängd och sedan stoppar du inte testet förrän det når den dagen och/eller den volym som du har ställt in. Men om de preliminära resultaten är mycket skeva i en viss riktning (dvs om diskrepansen mellan de olika alternativens omvandlingsfrekvenser är mycket stor och det finns starka indikationer på att detta inte kommer ändras med tiden) så kan det eventuellt vara ett bra affärsbeslut att avsluta testet i förväg. Här kommer din förmåga att tolka de preliminära resultaten in i bilden. Resultaten, som också kan kallas empiri eller data, säger inte nödvändigtvis så mycket i sig. Det är först när någon tolkar datan som den blir värdefull. Den bästa forskningen kombinerar kvantitativ data med en mer kvalitativ analys. 

Analysera resultaten från A/B-testet

En testrapport bör alltså innehålla en tolkning av datan. Analytikerna bör försöka tolka datan så objektivt det går och "berätta historien" bakom siffrorna rent kvalitativt. Rekommendationer om steg företaget kan ta för att få en ännu djupare förståelse för webbplatsbesökarnas och kundernas beteende bör också alltid ges. Dessa rekommendationer kan då ligga till grund för nästa experiment.

På så vis kan en ny cykel av testning inledas. 

Och till sist…

Kom ihåg att ett split-test inte nödvändigtvis är ett misslyckande bara för att resultatet inte blev som du trodde på förhand. Det betyder bara att hypotesen inte bekräftades i detta test. Det kan bero på flera saker, tex att hypotesen är felaktig, att testet var fel utformat eller något annat. Återigen; det är här din analys av datan blir viktig. Men du kan också utföra fler tester för att få mer data att dra dina slutsatser från. 

Det är hursomhelst orimligt att tro att dina hypoteser, idéer och praxis kommer att vara 100 % rätt 100% av tiden. Det här är en ganska komplicerad forskning med många saker att tänka på; testdesign, utförande, övervakning och analys mm. Men ju längre och ju mer du håller på, desto bättre kommer du bli och ju mer kommer du lära dig - och det är alltid en vinst, även om du inte når hela sanningen direkt.