Checkliste: In 8 Schritten zum eigenen A/B Test




Checkliste A/B - TestingHier im Blog habe ich schon viele Artikel darüber geschrieben, was man auf Webseiten testen kann. Die zuletzt veröffentlichte Conversion Case Study von Margarete Steiff hat gezeigt, wie wenig manchmal geändert werden muss, um gute Testergebnisse zu erzielen.

Was ich allerdings noch nicht gezeigt habe, ist die Vorgehensweise beim A/B Testing. Daher gibt es hier eine Checkliste mit den wichtigsten Punkten vor dem Setup eines A/B – Tests.

Die nachfolgende kurze Checkliste dient der Orientierung und soll dabei helfen, was man vor dem Test Setup nicht vergessen darf. Sie setzt zudem voraus, dass man bereits ein A/B- Testkonzept im Kopf hat und weiß, was man auf welcher Seite testen möchte. Idealerweise ist die Variante B bereits entwickelt.

 Checkliste: in 8 Schritten zum A/B-Test

  1. Sichern des Status Quo
  2. Dauer des Tests berechnen
  3. Anzahl Conversions auswerten
  4. Wahl der A/B – Testmethode
  5. Traffic Segmentierung
  6. Statistische Signifikanz
  7. Conversion Goals
  8. Auswahl Testing Tool und Setup

  In 8 Schritten zum A/B -Test
Anzahl Downloads: 2.094

1. Sichern des Status Quo

Bevor man etwas ändert, ist es generell wichtig, den Status Quo zu sichern. Dies macht es einfacher, auch im Nachhinein herausfinden zu können, wo man ursprünglich hergekommen ist. Hier gehört nicht nur ein einfacher Screenshot von der unveränderten Seite, sondern auch, die Ursprungsvariante vorher technisch unverändert (inkl. Quellcode) zu sichern. Screenshot-Tools gibt es viele – für Firefox kann ich zum Beispiel → Screengrab empfehlen, da hiermit auch eine komplette Seite (also über den sichtbaren Bereich hinaus) gesichert werden können.

2. Dauer des Tests berechnen  – A/B Testing Duration Calculator

A/B Tests sollten generell nicht allzulange laufen. Ein Test der sehr lange laufen muss, um signifikante Uplifts zu generieren, weist im Grunde genommen darauf hin, dass der zu messende Effekt zu gering ist. D.h. das variierte Test-Element, oder die variierte Seite B hat demzufolge zu wenig Einfluss auf die Conversion Rate. Eine (persönliche!) Empfehlung lautet daher:

Nicht mehr als 2 Monate testen!

Wer sich vor einem A/B-Test ausrechnen möchte, wie lange ein Test dauert wird, kann verschiedene Testing Calculators verwenden. Ich möchte allerdings darauf hinweisen, dass man in derartigen Tools auch einen geschätzten Conversion-Uplift mit einberechnen muss. Eine derartige Schätzung fällt (auch uns Experten) schwer (näheres dazu im nächsten Punkt).

 

3. Anzahl Conversions auswerten

Die Frage nach den zu erwartenden Conversions zielt vor allem auf Tests ab, die ein Mindestmaß an Conversions nicht erreichen können. Um dennoch testen zu können, muss man sich sogenannter Micro-Conversions bedienen. Hier eine Daumenregel, die bisher immer sehr gut funktioniert hat:

Man braucht pro getesteter Variante ca. 10 Conversions pro Tag.

Bei einem A/B Test bedeutet dies, dass man vor dem Test 20 Conversions pro Tag haben sollte, damit der Test nicht ewig läuft. Nun denkt man sich vielleicht: 20 Sales (als Beispiel) pro Tag für eine Variante hätte ich gerne, dann müsste ich nicht testen.

Daher muss man sich in diesem Fall der Micro-Conversions bedienen. Wichtig ist dabei, dass das eigentliche Conversion Goal (Beispiel Sale) neben den verschiedenen Micro-Conversion Goals (AddToCart, etc.) mit getrackt wird.

Auf den Punkt gebracht: Erst einmal die  Conversions pro Testseite im Webanalyse-Tool auswerten. Wer keine 20 Conversions pro Tag vor dem Test hatte, sollte sich auf die Suche nach anderen Conversion Goals begeben, bzw. Micro-Conversions definieren, die neben dem Hauptziel mit getrackt werden.

Beispiel Micro Conversion Rates:

  • Click-Through-Rate
  • Add-To-Basket-Rate
  • Click-To-Product-Rate
  • Basket-To-Buy-Rate
Beispiel Macro Conversion Rates:
  • Sales Conversion Rate (SCR)
  • Lead Conversion Rate (LCR)
  • Download-Rate

 

4. Wahl der A/B – Testmethode

Hier geht es nicht darum, zwischen A/B Testing oder multivariate Testing zu entscheiden, sondern vielmehr darüber, ob die optimierte Variante als eigenständige URL zur Verfügung steht, oder ob nur die Testelemente innerhalb der bestehenden Seite geändert werden.

Vereinfacht gefragt:

Variante 1)

Wenn beides verneint wurde, dann handelt es sich um einen „normalen“ A/B -Test auf der Website, bei der ein bestimmtes Element direkt ausgetauscht wird

Variante 2)

Wenn einmal mit „Ja“ geantwortet wurde, dann handelt es sich um Split-URL Test. In diesem Fall kann man das Testsystem so aufsetzen, dass beim Aufruf einer URL vom System entschieden wird, welche Variante ausgespielt wird. Wichtig ist dabei, dass die ursprüngliche Variante auch als „Control“ im System hinterlegt wird, denn das Tool kann die neue Variante nur dann anzeigen, wenn die URL auch aufgerufen wurde.

 5. Traffic Segementierung

Manchmal macht es Sinn, nicht immer den kompletten Traffic zu testen, sondern nur bestimmten Nutzergruppen (Neu vs. wiederkehrend, SEA Traffic für eine bestimmte Kampagne, organischer Traffic, Affiliate Traffic, mobile Nutzer, oder nur direkter Traffic). Bevor der A/B Test live geht, sollte man sich überlegen, ob man alle Nutzer mit einbezieht, oder nur ganz bestimmte. Eine Segmentierung des Traffics kann durchaus zu ganz anderen Ergebnissen führen, als ungefiltertes Testing. Nachfolgend ein paar Segmentierungsbeispiele.

 

Traffic Segmentierung A/B Testing

Mein Tipp: SEA Traffic eignet sich in der Regel gut fürs A/B Testing, da dieser Traffic relativ gleichbleibende Qualität aufweist. Sollte der Test zum Uplift führen, kann das Konzept auch auf den kompletten Website Traffic ausgeweitet werden. Zur Segmentierung müssen beim Setup in der Regel die Kampagnen Parameter in der URL eingetragen werden.

6. Signifikanz – Wann ist ein A/B Test aussagekräftig

Ein A/B Test ist dann aussagekräftig, wenn eine gewisse Anzahl an Conversions aufgelaufen sind und der Test statistisch signifikant ist. In der Realität wird dies leider allzu häufig veranachlässigt, was nachfolgende Grafik verdeutlicht:

Statistische Signifikanz beim A/B - Testing

Wer mit einem A/B Testing Tool testet, der bekommt die Signifikanz (Chance to beat original, etc.) in der Regel mit ausgewertet. Bei manchen Tools kann vorher das Signifikanzniveau verändert werden. Aus der Praxis heraus kann ich empfehlen, das Signifikanzniveau auf 95% (= Fehlerwahrscheinlichkeit von 5%) einzustellen. Ein 90%-iges Signifikanzniveau ist ebenfalls vertretbar, sollte aber nicht Ziel einer Optimierung sein.  Nachfolgender Screenshot zeigt die Einstellung im Visualwebsiteoptimizer (Zu finden unter Test-Settings).

Signifikanz A/B - Testing

7. Conversion Goals

Das wichtigste beim Testing sind wohl die Conversion Ziele. Erst wenn man diese Kennzahlen steigern konnte, war ein Test auch erfolgreich. Doch welche Ziele sollte man setzen? Hierbei ist auf jeden Fall der Punkt 3 zu berücksichtigen, d.h. man muss auf die Anzahl der Conversions achten.

In einem Prozess (zum Beispiel Checkout) sollte man zudem immer alle Schritte mit tracken. Es ist einem nicht geholfen, wenn die optimierte Produktseite zwar mehr Warenkorb-Aufrufe hat, dafür aber weniger Abschlüsse (ja, das kann passieren!).

Je nachdem welches Testing Tool gewählt wird, ergibt sich daraus auch eine unterschiedliche Anzahl von möglichen Conversion Goals. Der Visualwebsiteoptimizer bietet zum Beispiel 7 Conversion Goals, wohingegen der Google Website Optimizer (auch wenn kostenlos) nur 1 Conversion Goal anbietet.

Wichtig ist, dass man die Conversion Ziele auch sprechend bezeichnet, damit jeder weiß, was damit gemeint ist (Conversion 1 =Abschluss, Conversion 2 = In Warenkorb gelegt, etc.) und sie bevor der Test startet auch überprüft.

 

8. Auswahl Testing Tool und Setup

Wer erfolgreich alle Punkte durchlaufen hat, kann sich nun an die Auswahl des Testing Tools machen. Eine schöne Übersicht findet man auf → whichmvt – auch wenn es der Name nicht vermuten lässt, aber A/B Testingtools sind ebenfalls enthalten.

Nach der Auswahl eines Testingtools geht es nun an das Setup. Wer die vorherigen Punkte bereits abgehakt hat, wird merken, dass die unterschiedlichen Tools mehr oder weniger genau diese Informationen abfragen.

Wer vor dem Test noch auf Nummer sicher gehen will, führt zunächst einen A/A Test durch, um herauszufinden, ob das Tracking wirklich funktioniert, denn die neue Variante A sollte beim A/A Testing nicht besser konvertieren als die ursprüngliche Variante A ;-).

Viel Erfolg beim A/B – Testing!

  In 8 Schritten zum A/B -Test
Anzahl Downloads: 2.094








About the author
Gabriel Beck
Gabriel Beck ist Mitglied der Geschäftsleitung beim Conversion Spezialist Web Arts AG. Kontakt zu: Google+ Facebook Fanpage




9 Kommentare für: Checkliste: In 8 Schritten zum eigenen A/B Test

Daily 12/13/2011 | Anwender neuer Ideen | birgerh.de

[…] Checkliste: In 8 Schritten zum eigenen A/B-Test | Conversion Optimierung Blog […]

Gerd

@2. Hast du mal die beiden Tools miteinander verglichen? Bei mir liefern die völlig unterschiedliche Ergebnisse … (100 % Unterschied)

KW50: MacBook und .NET-Entwickler, Unity3D Geld und mehr - Der Softwareentwickler Blog

[…] gegenüber gestellt, um herauszfinden, welche eine höhere Clickratetätig erzielt. Auf Conversiondoktor.de findet ihr nun eine klene Checkliste, die euch dabei unterstützen soll, bei so einem Test nichts […]

E-Commerce: In 8 Schritten zum eigenen A/B-Test » t3n News

[…] Dieser Artikel erschien zuerst im Conversiondoktor-Blog. […]

Designing for Brains – Effekte wahrscheinlich | klarheit.org | Organisation Klarheit

[…] ein Freshup geben, warum auch eine Fehlerwahrscheinlichkeit von 5% stets bedrängt vom Zufällen und systematischer Abweichung […]

Daniel

Hallo Gabriel!

Welche Vorgehensweise schlägst du denn vor, um (natürlich möglichst preiswert) zwei komplett unterschiedliche Websites zu testen? Die neue Variante soll im Zuge eines kompletten Relaunchs erstellt werden …

Wie kann man das technisch umsetzen, dass beide Varianten stets identische URLs aufweisen?

Danke für deine Hilfe!

Daniel

    conversiondoktor

    Hallo Daniel,

    das lässt sich pauschal nicht sagen. Dafür müsste man zunächst einen Blick auf Eure Website, bzw. auf die technischen Rahmenbedingungen werfen, bevor man eine Aussage trifft.
    Trivial ist das nicht, aber möglich. Wichtig ist, dass methodisch alles einwandfrei getestet wird, sonst kommt man schnell an einen Frustrationspunkt.

    Gerne mehr im direkten Dialog.

    Gruß
    Gabriel

jukey

Der Link zum A/B Test Duration Calculator funktioniert nicht mehr.

    Gabriel Beck

    Danke.
    Hab ihn entfernt, leider keinen aktuellen Link gefunden.
    Diese Checkliste wird wieder aktualisiert, dann sind auch frische Links drin.





Leave a comment





 

Kontakt

© Conversion und Landing Page Optimierung Blog 2016 - Conversion und Landingpage Optimierung Blog