A/B testing og hvorfor det nok ikke virker

A/B testing, hvor man prøver to konkurrerende implementationer af overfor brugerne og ser hvilken der performer bedst, er et fantastisk redskab til at forbedre et produkt. Det bruges meget i webudvikling og derfor er det egentlig underligt at så få forstår at bruge det korrekt.

Mest af alt skyldes det nok at statistik er svært, så den korte version kommer David Kadavy med:

The amazing “results” I got on my A/A tests
Running an A/A test for every email for 8 months really gave me a feel for how misleading A/B test “results” can be. Check out some of the “results” I got from changing nothing at all.
A 9% increase in opens!
A 20% increase in clicks!
A 51% lower unsubscribe rate!
Finally, an incredible 300% increase in clicks, all by simply doing absolutely nothing!
— David Kadavy, “A/A Testing: How I increased conversions 300% by doing absolutely nothing

Pointen i hans test var nemlig at han slet ikke testede – begge implementationer var identiske og intuitivt burde resultaterne have være det samme. Men der er altid plads til udsving og jo mindre sampling size jo større udsving ses.

Så hvis man vil i gang med A/B testing, og ikke har lyst til at studere statistik, så kan man starte med “12 A/B Split Testing Mistakes I See Businesses Make All The Time“. Efter den artikel (husk at se videoen) er der Greg Linden’s blog, hvor man kan finde

A/B testing at Amazon and Microsoft

Experiments and performance at Google and Microsoft

og endelig “Puzzling outcomes in A/B testing” der linker til PDF’en “Trustworthy Online Controlled Experiments: Five Puzzling Outcomes Explained” hvor der blandt andet fortælles:

When Bing had a bug in an experiment, which resulted in very poor results being shown to users, two key organizational metrics improved significantly: distinct queries per user went up over 10%, and revenue per user went up over 30%! …. Degrading algorithmic results shown on a search engine result page gives users an obviously worse search experience but causes users to click more on ads, whose relative relevance increases, which increases short-term revenue … [This shows] it’s critical to understand that long-term goals do not always align with short-term metrics.

 

Dette indlæg blev udgivet i Udvikling og tagget , , , . Bogmærk permalinket.

Skriv et svar

Udfyld dine oplysninger nedenfor eller klik på et ikon for at logge ind:

WordPress.com Logo

Du kommenterer med din WordPress.com konto. Log Out / Skift )

Twitter picture

Du kommenterer med din Twitter konto. Log Out / Skift )

Facebook photo

Du kommenterer med din Facebook konto. Log Out / Skift )

Google+ photo

Du kommenterer med din Google+ konto. Log Out / Skift )

Connecting to %s