Episode 15: A/B-Testing: Der (nicht so) heilige Gral der Conversion-Optimierung

TRANSKRIPTION DIESER FOLGE DES PODCASTS Hallo! Mein Name ist Jörg
Dennis Krüger und wie mein Wurst-Kabel-Trommel-Wickler am Empfang
gerade gesagt hat: Ja ich bin der Conversion-Hacker. Und in dieser
Conversion-Hacking Podcast Folge soll es einmal um das Thema
A/B-Testing gehen. Wer mich kennt, der mich schon ein wenig länger
kennt der weiß ja, dass A/B-Testing eines meiner absoluten
Basis-Themen ist. Ich habe 2008 mit dem Thema, 2006 sogar schon ein
Thema A/B-Testing gestartet damals für Omniture. Mittlerweile ist
es Adobe-Test und Adobe-Target, das sind alte Produkte, die wir
damals bei großen Firmen wie DKV, Allianz oder ähnlichem genutzt
und eingeführt haben. Und das heißt, seit dem A/B-Testing und mein
Buch was 2011 erschienen ist, ist Conversion-Boosting mit Website
Testing heißt auch nicht ohne Grund ganz genau so. Mein Buch zu
A/B-Testing Conversion-Boosting mit Website Testing, weil der Fokus
des Buches doch schon sehr stark das Thema A/B-Testing ist. Ich
stelle dort das Conversion-Boosting Modell vor, wie man überhaupt
an das Thema Website Optimierung und Testing herangeht und ich
zeige wie man testet, wie man Zeiträume auswertet. La la la la. Ich
muss aber sagen, dass ich mittlerweile ein wenig weiter gelernt
habe, denn es geht gar nichts bei der Optimierung so ums testen.
Ich meine das Testen ist ja groß geworden durch Barack Obama, denn
in seinem Wahlkampf hat er durch A/B-Testing extrem viel mehr
Spenden gesammelt. Und aus dieser Spenden-Sammelaktion ist dann
auch der heutiger A/B-Testing Anbieter Optimizely entstanden. Das
ist im Prinzip das, was am Anfang mal irgendwie für die
Obama-Kampagne gebaut worden ist. Klar hat sich mittlerweile viel
verändert, Optimizely meisten hat irgendwie 80, 90 Millionen
Venture-Capital bekommen, um das Tool weiterzuentwickeln und so
weiter. A/B-Testing-Tools: Optimizely, Google Website Optimize
& Co. So sophisticated die Software mittlerweile auch ist - der
Einstiegspreis mittlerweile sehr hoch ist. Warum ich nicht mal so
häufig empfehle - aber cooles Tool. So also wollten alle
A/B-Testing machen, was für Obama funktioniert hat, das
funktioniert ja wohl auch für mich und so weiter. Das große Problem
ist, die meisten Shops oder Websites, aber bei mir geht es ja
meistens um Shops, sind einfach nicht Test bar. Warum? Man hat
nicht genug Traffic, denn so ein Test ist eben einfach eine ganz
normale Doppelblindstudie wie wir sie aus der Medizin oder aus der
generellen Wissenschaft kennen. Statistisch signifikante Ergebnisse
Und damit ich in so einer Studie genug Ergebnisse habe und
statistisch signifikante Ergebnisse habe, brauche ich eben genug
Daten und diese Daten sind natürlich immer Besucher auf der Seite
auf der anderen Seite Conversion, das sind so die beiden
Hauptfaktoren die damit spielen. Und wenn ich zu wenig Besucher auf
der Seite habe oder eine derzeit einfach zu geringe Konversionsrate
und meistens beides. Dann komme ich auf keine statistisch
signifikanten Ergebnisse, dann habe ich immer das Problem, dass ich
irgendwie Daten habe, aber wenn ich das ein wenig ausrechne, sind
das eigentlich alles Zufalls Daten. In den Testing Tools wird sowas
dann auch als Konfidenz oder Signifikanz angezeigt. Und wenn die
dann eben irgendwie nicht über 60, 70 Prozent kommt - Naja also 50
Prozent ist ein Münzwurf - 60, 70 Prozent ist nicht sehr viel
besser und, wenn man dann genauer darüber nachdenkt, dann merkt man
nun dass, man wirklich viele Daten braucht um wirklich verlässliche
Ergebnisse zu bekommen und die auch über einen gewissen Zeitraum
denn man muss mindestens 7, wahrscheinlich sogar 14 Tage testen, um
jeden Wochentag mindestens einmal eigentlich mindestens zweimal zu
haben. Optimaler Testzeitraum für A/B-Tests Man darf aber nicht zu
lange testen um sich nicht zu viele externe Einflüsse zu viel
Rauschen rein zu holen und darum sind so 2 bis 6 Wochen der
optimale Test Zeitraum. Und ja, wenn man da dann nicht genug
Conversions hat und genug Besuch...