Über das Scheitern beim Website Testing!
Website-Testing ist wichtig. Website-Testing ist einfach. Website-Testing sollte jeder machen!
Testing führt uns den Uplift in harten Zahlen vor Augen, auf zwei Komma-Stellen genau – Lecker! Testen ist Conversion Optimierern in Fleisch und Blut übergangen und macht uns süchtig! Süchtig nach Erfolg. Süchtig nach noch mehr fetten Uplifts!
Doch was passiert, wenn die gewünschten Ergebnisse ausbleiben? Was passiert, wenn der Nachher-Balken kleiner ist, als der vorher Balken im Diagramm? Wie lange sollte man warten, bis man endlich verstanden hat, dass das gewünschte Ergebnis nicht eintritt? Was kann man mit “verkorksten” Test-Ergebnissen anfangen und wie verkaufe ich das meinem Chef?
Über das Scheitern beim Website Testing >> Viel Spaß bei der Lektüre!
1. Conversion Optimierer scheitern nicht!
Conversion Optimierer sind harte und erfolgreiche Kerle (und Frauen!). Sie steigern jeden Tag den Erfolg von vielen Unternehmen. Wenn man die zahlreichen Case Studies sieht, geht man ehrfürchtig in die Knie. Ein wahnsinniger Uplift nach dem anderen wird veröffentlicht, und still und leise fragt man fragt sich: “Scheitern die denn nie?”
Hier die unverblümte Wahrheit:
Conversion Optimierer scheitern auch,
ABER
gute Conversion Optimierer geben das zu
… UND
gehen den Gründen für das Scheitern sofort nach!
Bildquelle: Gabriel Beck 2011
2. Tests können nicht scheitern!
Vom “Scheitern” zu sprechen, ist rein methodisch gesehen falsch. Wer richtig testet, stellt vor dem Testing Hypothesen auf. Die Forschungshypothese kann dabei entweder “bestätigt”, oder “abgelehnt” werden. Dies geschieht bei einem zuvor bestimmten Signifikanz-Niveau bzw. Fehlerwahrscheinlichkeit. Nachfolgend ein idealtypischer Verlauf eines Test (Nach kurzer Zeit liegt der Testsieger kumulativ über dem Verlierer – hier in Test & Target).
Idealtypischer Verlauf beim A/B Testing
3. Es gibt Tests mit Ergebnissen und es gibt Tests mit Erkenntnissen!
Werden Hypothesen mittels Testing bestätigt, so erhält man Ergebnisse. Man freut sich über einen Uplift, der in Prozent (relativ) den Testsieger kürt und kann darüber hinaus die Fehlerwahrscheinlichkeit für dieses Ergebnis ablesen.
Und dann gibt es Tests mit Erkenntnissen! Dies tritt jedes Mal dann ein, wenn die Hypothese nicht bestätigt werden konnte. In diesem Fall kann man sich als Conversion Optimierer hinstellen uns sagen: Ich lag nicht falsch! Meine Aussage konnte nur nicht bestätigt werden 
Ok, wir sind ehrlich: Das ist der unangenehme Anruf beim Chef oder Kunden, den man gerne lange hinauszögert ;-)
Aber das ist der richtige Zeitpunkt, dem “Warum” für dieses Ergebnis nachzugehen!
4. Warum ist Scheitern auch gut?
Häufig werden Conversion Optimierer vor dem Test gefragt: “Was schätzen Sie, wie viel Uplift bringt uns der Test?”. Auf die Frage kann man nicht einmal mit dem Berater-Spruch “Kommt darauf an” antworten. Diese Frage kann schlichtweg nicht beantwortet werden! Der Effekt einer Optimierung kann erst beziffert werden, wenn der Test tatsächlich durchgeführt wurde. Man kann nicht einmal garantieren, dass die Optimierung tatsächlich mehr bringt! (Gute Optimierer können das aufgrund ihrer Erfahrung minimieren, aber nicht ausschließen).
Fakt ist, dass viele (Kunden und Chefs) Angst vorm Testing haben, weil sie scheitern KÖNNTEN! Gewiefte Controller tippen nach einem Test mit negativer Steigerungsrate hektisch Zahlen in den Taschenrechner ein und beziffern genau, wie viel der Test kaputt gemacht und damit gekostet hat! All’ diesen Controllern sei gesagt: Tippt bitte auch bei erfolgreichen Tests ebenso fleißig die Daten in den Taschenrechner ein! Tests können nun mal dazu führen, dass die Hypothese nicht bestätigt wurde. Das heißt aber noch nicht, dass man nicht seine Lehren daraus zieht, in sich geht und einen neuen Wurf wagt!
Und genau hier liegt die Chance in gescheiterten Tests: Man lernt aus ihnen und schlägt neue Wege ein! Man versteht die Besucher einer Website besser und weiß, worauf sie positiv und negativ reagieren. Sensible Test-Elemente zu finden, macht uns beim nächsten Test erst recht erfolgreich!
Das ist wie beim Boxen: Gerade aus den verlorenen Kämpfen lernt man ganz besonders und versucht, die Fehler zu vermeiden, um nicht noch einmal so eine Schlappe einfahren zu müssen!
Daher sage ich laut:
Habt keine Angst vorm Scheitern – Lernt daraus!
5. Wie sehen “verkorkste” Tests aus?
Beispiel 1 – Annähernde Conversion Rate Kurven
Conversion Rates, die kumulativ aufeinander zulaufen
Problem: Die kumulativen Conversion Rates nähern sich nach kurzer Zeit einander an!
Erklärung: Tests “brauchen” ein paar Tage, bevor zu verlässlichen Ergebnissen führen. Das hat auch damit zu tun, das die Entscheidung für Produkte oder Dienstleistungen eine bestimmte Zeit brauchen. In den ersten Tagen kommen daher nur neue Besucher auf die Test-Varianten. Daher ist es wichtig, sich die Zeit bis zum Kauf, oder zum Download etc. vorher anzuschauen. In diesem Fall hat die getestete Variante die Conversion Rate nicht spürbar verbessert. Das Testelement hat in dieser Ausprägung keinen Effekt auf die Conversion Rate.
Die darunter abgebildete Conversion Rate zeigt nominal, dass sich die Varianten nicht groß unterscheiden.
Lösung: Das Testelement muss sich stärker von der ursprünglichen Variante abheben. Wenn Layouts getestet wurden, dann war die Variante B nicht drastisch genug geändert!
Beispiel 2 – Zu viele getestete Varianten
4 Varianten in einem Test
3 Varianten in einem Test
Ergebnis für A/B/C/D – Test
Problem: Man testet mehr als 2 Varianten und sieht keinen großen Unterschied zwischen den Varianten.
Erklärung: Der Traffic, bzw. die Conversions verteilen sich auf 4 Varianten gleichzeitig. Hier wurde zu viel des guten verlangt. Bei 4 Varianten benötigt man schon etwas mehr Traffic, bzw. Conversions. Die Daumenregel lautet: Ca. 10 Aktionen pro Tag und Variante! Also 40 Aktionen, wenn man den Traffic auf 4 Varianten verteilt.
Lösung: Man kann den Test in mehrere A/B Tests zerlegen, um so schneller zu tatsächlich signifikanten Ergebnissen zu kommen.
Beispiel 3 – Keine Signifikanz, aber eindeutiger Verlauf
Problem: Ein Test ist selbst nach 2 Monaten und vielen Conversions noch nicht signifikant.
Erklärung: Die Steigerungsrate hat noch nicht ausgereicht, um den Zufallsfehler gänzlich ausschließen zu können.
Lösung: Ein Blick in den Graphen eines Testverlaufs kann zusätzlich Aufschluss darüber geben, warum hier das Quentchen Signifikanz noch fehlt.
Der Verlauf der Conversion Rate zeigt im Screenshot unten, dass die Conversion Rate zu Beginn des Tests besser war. Erklärung können saisonale Effekte sein, die sich auf die Conversion Rate auswirken. Da mit abnehmender Conversion Rate auch die Conversion Actions weniger werden, dauert der Test einfach länger, bis er genügend Daten gesammelt hat. Aufgrund des konsistenten Verlaufs am Schluss wurde entschieden, den Test auch bei ca. 86% Signifikanz (siehe Screenshot oben) erfolgreich zu beenden.
Graph für einen Testverlauf
Beispiel 4 – Keine signifikanten Ergebnisse über alle Besuchergruppen hinweg.
Viele Tests scheitern daran, dass sie nicht segmentiert werden. Sowohl bei der Auslieferung, wie auch bei der Auswertung werden alle Besucher in einen Topf geschmissen und das führt häufig zu einem unklaren Ergebnis. Daher ist es wichtig, dass ein Testing Tool Segmentierung unterstützt. Beim Visual Website Optimizer können zum Beispiel die Segmente für die Auslieferung eingestellt werden.
Beispiel 5 – Zu wenige Conversions zum Testen
Es gibt Website-Betreiber, die würden gerne testen, glauben aber, dass sie zu wenig Conversions haben, um einen Test durchführen zu können. Tests, in denen zu wenig Conversions resultieren, würden sehr lange dauern. Hier kann man empfehlen, alternative Conversion Ziele zu wählen. So kann das Engagement im Visual Website Optimizer (das Gegenteil von der Bounce Rate) als Hilfs-Conversion herangezogen werden.
Fazit
Tests können nicht scheitern, allein die Bestätigung für die Hypothese ist das Ziel eines Tests. Wenn die Bestätigung ausbleibt, sollte man sich einen Kopf darüber machen, woran das liegen kann. Zum einen kann es systematische und technische Gründe dafür geben, auf der anderen Seite sollte das Testkonzept genauer überdacht werden. Aus Fehlern lernt man und genau das ist der richtige Weg, um beim nächsten Test erfolgreich zu sein!
PS:
Wer den Artikel lieber mal in Ruhe ausgedruckt lesen mag, kann ihn auch als PDF runterladen >>
Über das Scheitern beim Website Testing 468,0 KiB,
Super Post! Es soll sogar Tests geben die mit einer Negativ-Hypothese starten. Da ist dann der ausbleibende Uplift ein riesen Erfolg
Deshalb “Testing” als Methode besser mit Unternehmern besprechen, nicht mit Managern.
Oder mit Managern, die für’s Risiko bezahlt werden, aber die dürften rar sein …
Schöner Artikel! Gefällt mir, da man ja sonst immer nur gerne erzählt, um wieviel Prozent man die Conversion Rate gesteigert hat und wie erfolgreich die Tests waren und alles. Aber das “Scheitern” gehört nun mal auch dazu, ist ja auch logisch, wenn wir von vorne rein wüssten, welches die bessere Variante ist, müssen wir auch keinen Test machen
Innovation = Fail early, fail often. Keine Ahnung von wem das war. aber das gilt für CRO auch. Toller Blogpost, Danke Gabriel!
Schöner Artikel … vielleicht nur noch die Anmerkungen:
Auch bei erwartetem (positivem) Testergebnisse werden Erkenntnisse gewonnen.
“Besucher Gruppen” = “Besuchergruppen” *Klugscheißmodusoff*
Hallo Florian,
danke für Deinen Hinweis.
War dieser Hinweis das einzige Feedback zum Artikel?
*Kritisch-Nachfrage-Modus-on*
Gruß,
Gabriel
[...] Das Thema A/B Testing darf nie vergessen werden. Wer sich hierfür interessiert, findet im Blog von Gabriel Beck (Conversion Doktor) professionellen Input. Dieser Beitrag wurde unter eCommerce, Online-Marketing, Relaunch [...]
[...] Gabriel Beck (@conversion_doc) hat zu diesem Thema einen wundervollen Artikel geschrieben: Über das Scheitern beim Website Testing! [...]
Add A Comment