Wie viel Traffic braucht man zum Testen?




Ich habe schon öfter gehört, dass Kunden der Meinung waren, ihre Website habe zu wenig Traffic, zum Testen. Oder die Conversions würden nicht ausreichen, um signifikante Ergebnisse zu erzielen. Mag für den ersten Moment auch erst einmal stimmen. Aber wer etwas „um die Ecke“ denkt, kann sich sehr einfach selbst helfen, ohne den Traffic teuer einkaufen zu müssen.

Wie viel Traffic braucht man denn nun fürs Testing?

Die Frage nach dem Traffic ist eigentlich eher uninteressant. Wer sich etwas mit Testing beschäftigt kommt bald auf die Statistik. Es wird nämlich mittels A/B Testing nur untersucht, inwiefern sich (statistisch gesehen) zwei beobachtete Gruppen (A/B) voneinander unterscheiden.

Etwas genauer noch: es wird ein Merkmal – die Conversions – in zwei Gruppen untersucht. Die Gruppen unterscheiden sich dabei in einem Merkmal. Gruppe A: hat die ursprüngliche Landingpage gesehen und Gruppe B: hat die neue Variante der Landingpage gesehen.

Es geht darum, zu ermitteln, inwiefern das beobachtete Verhalten überzufällig voneinander abweicht (Es geht eigentlich nicht um die Steigerung!).

Wenn das Verhalten, also die Conversions in beiden Gruppen sehr weit auseinander liegen, kann es auch bei wenigen Conversions zu signifikanten Ergebnissen kommen. Wichtig ist aber, dass man den Test nicht bereits nach einem Tag beurteilt und eine Entscheidung fällt – dies hängt vom Conversion Delay, Saisonalitäten, Kaufentscheidungszyklen etc. ab.

Als Daumenregel und für alle Statistik Muffel:

Wer weniger als 10-20 Conversions pro Tag vor dem Start eines A/B Tests hat, braucht eine Art „Hilfe“ und  sollte weiter lesen. Alle anderen auch 😉

Testingtools findet man in der Conversion-Tool Liste

 

Der Pfad zur Erleuchtung – Conversion Pfade

Um herauszufinden, wie Nutzer zur gewünschten Conversion (Kauf, Anfrage, Download, etc.) gelangen, muss man deren Pfade auf der Webseite auseinandernehmen. Mit Hilfe von Webanalyse-Tools kann man dies relativ schnell herausfinden, da diese Besucherströme in der Regel auch als Standardreport vorhanden sind.

 

Nachfolgend die Auswertung des Visitor Flow in Google Analytics (Besucher >> Besucherfluss). Mehr zum Thema visitor flow → hier

Google Analytics - Visitor Flow

Wichtig ist dabei, dass man sich die Pfade nur für die Besucher mit Conversion anzeigen lässt (siehe nachfolgender Screenshot).

visitor-flow

 

Hieraus kann man sich nun folgendes ableiten.

Ein Besucher, der die gewünschte Aktion (Conversion) durchgeführt hat, musste vorher bestimmte Seiten besuchen. Die Annahme, die man anschließend aufstellt:

Wenn man die Anzahl der Zwischenziele (-schritte) steigert, steigert man auch die Anzahl der Conversions am Ende des Prozesses. Auf gut deutsch: Wenn ich mehr Leute in den Prozess hineinjage, sollten auch mehr konvertieren als vorher.

Das Ganze kann dann in einem A/B Test wie folgt aussehen:

traffic-testing

Man markiert sich in jedem Schritt den „Gewinner“ (in grün hinterlegt) und das dazugehörige Signifikanzniveau. Daraus leitet sich dann ein Bild ab, das einem zeigt, ob die neue Variante über alle Indikatoren hinweg konsistent besser funktioniert. (Hier ein Tool zur Berechnung der Signifikanz von Test-Varianten bei vwo >> Signifikanzrechner)

Wenn die eigentlichen Conversions nicht signifikant gesteigert werden konnten, da einfach zu wenige Conversions erzielt werden, kann man zumindest auf Basis dieser Annahme eine Entscheidung treffen.

Das Beispiel zeigt, dass für jeden Indikator die Variante B besser funktioniert. Die Signifikanz ist in beiden Fällen bei einem Niveau von 10% Fehlerwahrscheinlichkeit gegeben. Wenn man den Test nur auf Basis der harten Abschlüsse betrachten müsste,  hat man genau den Fall, dass die Conversions (statistisch gesehen) zu eng bei einander liegen, weshalb ein eindeutiger Testsieger bei isolierter Betrachtung nicht feststehen würde. Testingtools geben in der Regel die Signifikanz mit aus (Bsp.: visualwebsiteoptimizer)

 

$index zeigt wichtige Seiten im Conversion Prozess

Einen weiteren Indikator ($index in Google Analytics) für wichtige Seiten im Kaufprozess habe ich bereits in einem anderen Artikel näher ausgeführt (→ Link).

 

Limitierung dieser Betrachtungsweise

Diese Betrachtungsweise hat allerdings auch Beschränkungen, derer man sich bewusst sein sollte:

(1) Zum einen sollte der Visitor Flow Report eine eindeutige Sprache sprechen und nicht zu „zersplittert“ aussehen. Dieses Bild bekommt man, wenn die Informationsarchitektur und Navigationsstruktur der Webseite die Nutzer auf vielen unterschiedlichen Pfaden zur Conversion führen.

(2) Es besteht die Gefahr, dass die Nutzer, die man  nun zusätzlich in den Prozess „hineinjagt“ am Ende doch nicht konvertieren. Daher empfiehlt es sich (eigentlich immer) den kompletten Prozess zu tracken (s. obige Tabelle).

 

Fazit

Der Artikel soll zeigen, dass man auch auf Seiten testen kann, die nicht so viel Traffic, oder Conversions haben. Wenn man sinnvolle Annahmen im Conversion Prozess stellt und die Pfade der Nutzer auswertet, kann man sich mit Conversion Indikatoren behelfen.








About the author
Gabriel Beck
Gabriel Beck ist Mitglied der Geschäftsleitung beim Conversion Spezialist Web Arts AG. Kontakt zu: Google+ Facebook Fanpage




5 Kommentare für: Wie viel Traffic braucht man zum Testen?

Chris

Ich kann aus eigener Erfahrung sagen, dass es eben doch um die Steigerung geht. Lässt man diese außen vor, kommt man eben zufälligerweise doch in den 5%-Bereich, in dem das Ergebnis reiner Zufall sein könnte.

Ich geb mal ein Beispiel. Ich habe einen A/B-Test laufen lassen, der kam zu diesem Ergebnis:
Control: 700 Views, 200 Conversions (= 28,57%)
Variante: 700 Views, 229 Conversions (=32,71%)

Berechnet man die z-Score, kommt man auf 1.68, was bei einem One-Tailed-Test einer Signifikanz von >95% entspricht.

ABER: Die Conversion-Steigerung betrug lediglich 14,5% und war damit eigentlich zu klein für diese Stichprobe.

Als Daumenregel würde ich daher noch hinzufügen: Wenn man kleine Verbesserungen messen möchte (Steigerung 2.000)

    Chris

    Irgendwie wurde mein Beitrag am Ende verunstaltet. Der letzte Satz lautet:

    Wenn man kleine Verbesserungen messen möchte (Steigerung < 20%), benötigt man ca. 2.000 Datensätze oder mehr.

    Ich habe dazu einen Artikel geschrieben, der mein Beispiel nochmal etwas genauer erläutert, falls es interessiert 🙂

    http://www.apiheld.de/ab-split-tests-richtig-durchfuehren/

      conversiondoktor

      Danke für das Ergänzen Deines unvollständigen Satzes und Deinen Kommentar. Ich werde mir das einmal durchlesen.

Drei Conversion und Neuromarketing Blogs, die Sie unbedingt lesen sollten - ConversionBlog

[…] im Bereich der Conversion Rate Optimierung. In seinem Blog schreibt er zum Beispiel darüber, wie viel Traffic man zum Testen benötigt, welche Conversion Tools Sie einsetzen können und wie viel ein Gastzugang im E-Commerce Checkout […]

Manuel

Guter, interessanter Artikel.





Leave a comment





 

Kontakt

© Conversion und Landing Page Optimierung Blog 2016 - Conversion und Landingpage Optimierung Blog