Blå eller gul? “Læs mere” eller “Lær mere”? Skal man sende emails om mandagen eller om onsdagen? Trial and error er en måde at finde ud af det på, men A/B testing – eller splittesting – er en både hurtigere og mere effektiv metode. Når du laver en A/B test får du kort sagt data, som kan hjælpe dit marketingteam med at træffe bedre beslutninger.
Definition på A/B testing – eller splittesting
En simpel definition på A/B testing kunne lyde sådan: En videnskabelig metode til at teste effekten af forskellige contentelementer. Når man skal gennemføre en A/B test, tester man to forskellige varianter af en fx en tilmeldingsformular, annonce eller landingsside for at se, hvilken version der konverterer bedst. I den periode, hvor man tester, bliver halvdelen af brugerne eksponeret for den ene version, mens den anden halvdel bliver præsenteret for den anden. Det er som oftest få elementer, der skiller den ene side fra den anden. Der kan fx være forskel i budskaber, tekst, farver, billeder eller layout.
Læs mere om, hvordan du udfører A/B-tests med Email Studio.
Hvad er A/B testing?
A/B tests giver virksomheder mulighed for at træffe mere kvalificerede, datadrevne beslutninger omkring deres markedsføring. Med splittests er det kort sagt slut med bare at gætte på, hvad der fungerer, og bruge masser af mødetimer på at diskutere, hvilken farve en knap fx bør have. A/B testing giver jer et godt grundlag for at træffe den slags beslutninger – beslutninger, der er baseret på data, frem for holdninger og følelser.
Advarsel: Det er en dødssynd bare at overlade beslutningerne til den, der er øverst i hierarkiet. Denne tendens kalder man også for HiPPO (Highest Paid Person’s Opinion syndrome).
A/B splittests kan bruges som udgangspunkt for at teste hvilke budskaber, billeder, farver eller grafiske elementer, der fungerer bedst. Det kan også bruges til at teste, om jeres kontaktformularer og check out flows fungerer hensigtsmæssigt. I kan sågar teste, hvilke emnelinjer, der giver den højeste åbningsrate på jeres emails. A/B testing er kort sagt en videnskabelig metode til at teste forskellige versioner af jeres digitale indhold. Skal testen give et validt resultat, skal man bruge tid og ressourcer på planlægning og eksekvering – det er nemlig med til at sikre, at I kan stole på jeres data og bruge dem som udgangspunkt for at analysere jeres indsatser og træffe kvalificerede beslutninger.
“LinkedIn laver altid splittests før en release og Netflix er kendt for løbende at lave eksperimenter, fx på deres tilmeldingsproces og deres indhold. De opfordrer også deres designere til at tænke videnskabeligt.”
A/B testing kan øge effektiviteten af jeres indhold. Efter en uge med recordings har de fleste nok data til at kunne træffe kvalificerede beslutninger. A/B tests er langt bedre end gætværk og så frigiver det tid, som grafikere og marketingfolk kan bruge på andre vigtige opgaver.
Det kan være dyrt at træffe forkerte beslutninger, men den risiko kan man minimere ved at lave splittests – og så lærer man noget af dem, uanset hvad resultatet viser. Hvis du tester, hvad der virker bedst: En blå knap eller en gul knap? Så giver testen dig måske et klart billede af, at knappen skal være blå, fordi der er mange flere, der klikker på den.
Nogle af verdens mest innovative virksomheder baserer deres produkt- og marketingbeslutninger på A/B tests. I nogle tilfælde bliver de mange eksperimenter en så integreret del af forretningen, at virksomhederne bygger deres egne, skræddersyede værktøjer til at udføre splittests. Fx laver LinkedIn altid splittests før en release og Netflix er kendt for løbende at lave eksperimenter, fx på deres tilmeldingsproces og deres indhold. De opfordrer også deres designere til at tænke videnskabeligt. I 2019 foretog Google 17.523 eksperimenter, der resulterede i 3.620 launches. Og Amazon-stifter, Jeff Bezos, bliver ofte citeret for følgende: “Vores succes er et resultat af de mange eksperimenter vi laver hvert år, hver måned, hver dag.”
Hvorfor A/B testing?
Når man kører en A/B test på en hjemmeside, så laver man som oftests to versioner af den landingsside, brugerne ser. En ny version og en kontrolside (den originale side). Forskellen på de to sider kan være en farve på en knap, en overskrift eller et ekstra felt i tilmeldingsformularen. I modsætning til kvalitative undersøgelser, hvor brugerne typisk selv fortæller, hvad de foretrækker, så kigger en A/B test på, hvad de rent faktisk gør.
Uden at gå for meget i detaljer, så bygger A/B testing på to fundamentale principper, som man skal kende til: Random selection og statistisk signifikans.
Hvad betyder random selection for A/B testing?
Hvis man skal kunne stole på resultaterne af en splittest, så skal brugerne i undersøgelsen være en del af målgruppen. Fx skal de alle være på udkig efter et par nye støvler. I de fleste tilfælde organiserer man det sådan, at halvdelen af brugerne får vist den nye landingsside, mens den anden halvdel får vist den originale version af siden. Men hvem der får vist hvad, er tilfældigt. Det er det, der menes med random selection. I nogle eksperimenter vælger man, at en mindre procentdel af brugerne skal have vist den nye version. Det er som oftest fordi at minimere risikoen for, at de ikke udføre den ønskede handling på siden.
“Vores succes er et resultat af de mange eksperimenter vi laver hvert år, hver måned, hver dag.”
JEFF BEZOZ, CEO I AMAZON
Det meste software, der er designet til at køre A/B testing, har en random selection-funktion. Det gælder også vores egen Marketing Cloud. Funktionen er indbygget i softwaren og er let at bruge for marketingfolk og andre ikke-tekniske medarbejdere.
Hvad er statistisk signifikans i splittesting?
Statistisk signifikans handler om, hvor stor sandsynligheden er for, at man får et bestemt resultat. Et eksempel: Jeres A/B test har vist, at den nye version af landingssiden har en konverteringsrate, der er 5 % højere end den oprindelige sides. I får efterfølgende at vide, at den statistiske signifikans er 90 %. Det betyder, at I med 90 % sikkerhed kan stole på resultatet af jeres splittest.
Research og analyser er grundstenen i gode A/B tests
Albert Einstein sagde engang: “The formulation of a problem is often more essential than its solution, which may be merely a matter of mathematical or experimental skill.”
Når man skal lave et videnskabeligt eksperiment, er den første og vigtigste opgave at identificere de udfordringer, der er, og validere dem gennem research og analyser.
Lad os sige, at I har en landingsside, der ikke performer, som den skal, eller som I forventede, at den ville. I stedet for at springe direkte til løsningen og kaste jer ud i forskellige eksperimenter med nye billeder, budskaber eller layout, så skal I først se, om I kan identificere problemet ved at kigge i jeres data. Ved at kigge på side- og brugerdata kan I fx finde frem til, at det er sidens call to action (CTA), der er en udfordring. Denne type overvejelser og analyser er nødvendige for, at man kan få succes med A/B testing.
Få gode ideer og opstil hypoteser
Når I har identificeret og valideret problemet, så skal I forsøge at finde mulige løsninger og opstille hypoteser på baggrund af jeres overvejelser.
En lille sidebemærkning: Det er vigtigt at skelne mellem ideer og hypoteser. En idé er en muligt svar på hvad, hvor, hvem og hvordan i et eksperiment. En hypotese er årsagen til, at ideen, hvis den bliver implementeret, vil skabe bedre resultater, der bidrager til at indfri virksomhedens forretningsmål. Et eksempel på en idé er, at I vil lave knappens farve om til gul. Jeres hypotese er, at en gul knap vil skabe større kontrast mellem knappen og baggrunden på siden. Kontrasten vil gøre knappen mere tydelig og det vil i sidste ende tiltrække opmærksomhed og få flere brugere til at klikke på den. Hypotesen er altså, at en gul knap vil give en højere click through rate. Det er den hypotese I tester, når I laver en A/B test.
Prioritering og rækkefølge: Hvad vil I teste hvornår?
Når man har identificeret det problem, man gerne vil finde løsningen på, så er der med garanti mange måder at teste på, og mange hypoteser, der kunne være interessante at teste af. Men hvis du skal have brugbare data at arbejde med, så kan du kun teste én hypotese ad gangen.
Når man arbejder med A/B testing, er man nødt til at prioritere de forskellige hypoteser, man gerne vil teste. De bedste eksempler på splittests er dem, hvor man har lavet prioriteringen ud fra strategisk vigtighed, påkrævet indsats, forventet varighed og effekt. I nogle tilfælde vægter nogle parametre højere end andre, men det er en god ide at lave en prioriteret rækkefølge for, hvad man gerne vil opnå med A/B-testing – og hvornår. Det kan derfor være en god ide at lave et pointsystem, som man bruger, når man skal vurdere vigtigheden af at teste forskellige hypoteser.
Færdiggør din testplan
Når man ved, hvilke A/B tests man gerne vil lave, så skal man i gang med at lave en testplan. Din testplan skal indeholde følgende informationer:
En beskrivelse af det problem, du vil løse
Et SMART-mål (Specific, Measurable, Achievable, Relevant, and Time-based)
En beskrivelse af den hypotese, du gerne vil teste
Succeskriterier (Hvordan vil du måle resultaterne?)
Målgruppe (Hvem tester du og hvor mange tester du?)
Sted (Hvor bliver testen udført?)
Ændringer (Hvad er forskellen på originalen og testversionen?)
Varighed (Hvor længe forventer du, at testen skal løbe, før resultaterne indfrier den ønskede statistiske signifikans? Det afhænger lidt af, om fordelingen i splittesten er 50/50 eller fx 80/20.)
En veldokumenteret plan giver gennemsigtighed og gør det lettere at aligne forskellige dele af organisationen. Ikke mindst for at sikre, at din A/B test ikke kolliderer med tests, der udføres i andre afdelinger på samme tiden. Det er især vigtigt, hvis du arbejder i en større virksomhed.
Udbyg din A/B test
Når du har en godkendt testplan, så er du klar til at bygge selve testen. Hvis du ændrer billede, test eller farver på websitet kan det være en god idé at bruge software, der er designet til A/B testing. Det kan fx være Interaction Studio, som er en del af Marketing Cloud. Programmet giver brugeren mulighed for at nemt at ændre de forskellige elementer, uden at skulle kode noget. Her kan du også tests emnelinjer til virksomhedens emails.
Hvis jeres A/B test omhandler forskellige designelementer, så er det en god ide at samarbejde meres jeres design/UX-team for at sikre, at de ændringer, I foretager, passer ind i brandingen. Hvis der er tale om mere komplekse A/B tests, hvor det er nødvendigt at kode ændringerne, så involvér jeres udviklere og spørg, om de vil hjælpe jer med at blive klar til at udføre splittesten. Hvis I har en Quality Assurance-afdeling, kan det også være en god ide at sende testen en tur forbi dem.
Udfør A/B test og overvåg jeres data
Når du klikker på knappen og testen er live, så er du halvvejs. Du kan altså ikke ånde lettet op endnu. Sørg for regelmæssigt at overvåge din A/B test for at sikre, at alt kører som det skal. Det er især vigtigt, hvis du planlægger at teste over en længere periode.
Vær opmærksom på, om der er nogle uregelmæssigheder at spore. Hvis man fx laver en lille ændring i placeringen af et element, så kan nogle testværktøjer godt stoppe med at allokere trafik til denne version. Der kan også være andre typer af ændringer, som får testværktøjet til at stoppe med at indsamle data. Når din A/B test er live, så er et det altså vigtigt at du genbesøger den en gang imellem for at sikre, at I får indsamlet de data, I gerne vil arbejde videre ud fra.
I traditionel A/B testing sætter du en deadline og så lader du testen køre, indtil den pågældende dato. Eller indtil der er indsamlet den mængde data, du har angivet. Hvis du undervejs i testperioden opdager nogle klare tendenser (fx at testvarianten i hele testperioden har haft en væsentligt lavere konverteringsrate end originalversionen, hvilke kunne indikere, at det nok ikke kommer til at ændre sig over tid), så kan I tage en beslutning om, ikke at fortsætte testen. Især fordi det, som i dette eksempel, vil gå ud over virksomhedens økonomi, fordi en lavere andel af brugerne konverterer.
Det kan du lære af resultaterne fra din A/B test
Når testen er afsluttet, anbefaler vi, at du samler de vigtigste insights i en rapport. I rapporten skal dataene analyseres og fortolkes så objektivt som muligt. Der skal bygges en kvalitativ fortælling op omkring tallene. Det vigtigste er, at rapporten indeholder nogle anbefalinger til, hvordan I får en bedre forståelse af brugernes adfærd. Disse anbefalinger giver jer gode forudsætninger for at gå videre med de næste eksperimenter.
Når testen er gennemført, rapporten er lavet og anbefalingerne givet, har I sikkert allerede fået nye ideer til – eller er gået i gang med – den næste A/B test.
Hvad så nu?
Det er vigtigt at have for øje, at din splittest ikke er en fiasko, hvis ikke den giver det resultat, du regner med. Det er blot en bekræftelse på, at jeres hypotese – statistisk set – ikke holder. Det er helt almindeligt, at ens ideer ikke holder 10 ud af 10 gange. Hvis din A/B test har det rette design, bliver udført korrekt og bliver overvåget og analyseret, så kommer du til at lære noget af processen, uanset hvad. Dit arbejde er altså ikke spildt, selvom din splittest ikke giver det forventede resultat.
Lær mere om A/B testing
I Marketing Cloud kan du bruge Interaction Studio til at lave A/B tests, helt uden at skulle kode. Test dine farver, dine emnelinjer og meget mere i Interaction Studio.
