Über den Conversion Uplift und das böse Erwachen




Manchmal klingt es zu einfach: Überlegen, was man auf einer Seite optimieren will, Testvariante entwickeln, Testing-System aufsetzen und laufen lassen. Nach ein paar Tagen über den Uplift freuen und sich die Hände beim Gedanken daran reiben, was man nun mehr verdienen wird, wenn man auf den Testsieger umstellt.

Aber dann kommt alles ganz anders. Um es mit den Worten der Fanta4 auszudrücken:

„Es könnt‘ alles so einfach sein, isses aber nicht“

Über das Scheitern beim Testing hatte ich schon geschrieben, hier geht es allerdings um die Effekte nach der Umstellung auf den Testsieger.

Nun nochmal ganz von vorne:

Beim Website-Testing werden Testhypothesen auf ihre Gültigkeit mithilfe von Testingtools überprüft. Hierbei kann auf A/B/n oder multivariates Testing zurückgegriffen werden.

Im Idealfall stellt sich nach ein paar Tagen Testing folgendes Bild dar:

 Das Böse Erwachen beim Website Testing

Die Variante B (rote Linie) erzielt eine höhere Conversion Rate und kumuliert über die Zeit mehr Conversions an. Der Testzeitraum liegt hier bei ca. 2 Wochen.

 

Signifikanz als Zünglein an der Waage

Inwiefern ein Testergebnis statistisch signifikant ist (d.h. die Wahrscheinlichkeit für einen Zufallsfehler ist sehr gering), oder nicht, geben die Testingtools in der Regel mit an. Im Allgemeinen sollte die statistische Signifikanz minimum 90% betragen, d.h. der Zufallsfehler läge hier bei 10%.

Statistische Signifikanz

Das Beispiel zeigt einen Uplift von +17,88% bei einer Signifikanz von 92%.

Ca. 18% Uplift können richtig klingeln in der Kasse – also: Umstellen auf den Testsieger!

 

Nun kommt das böse Erwachen!

Nach der Umstellung der Website auf den Testsieger ändert sich an der Conversion Rate nichts, auch die erhofften zusätzlichen Euros/ Dollars, etc. bleiben aus. Es ist alles wie vorher!

Doch was ist passiert? Über die folgende Erläuterungen bin ich im Blog analytics impact gestolpert.

 

Signifikanz ist nicht Signifikanz

Die Testingtools geben die statistische Signifikanz dafür aus, ob eine Variante besser verformt als die andere. Es wird allerdings nicht überprüft, inwiefern der Uplift statistisch signifikant ist! Hier liegt der Teufel im Detail. Beim multivariantem Testing zum Beispiel kann der Einfluss eines getesteten Elements auf die Conversion Rate ermittelt werden (mittels Varianzanalyse oder ANOVA), allerdings auch nicht, ob der erzielte Uplift signifikant ist!

Das bedeutet ganz konkret: Der Testsieger steht zwar fest, der Uplift kann allerdings nicht signifikant belegt werden.

„Cosmic Habituation“ als Erklärung

Es gibt eine interessante Studie, die Jonathan Schooler in den 80-igern über Sprache und Erinnerungsvermögen durchführte und später wiederholen wollte. Es ging im Detail um das Phänomen des „verbal overshadowing“ – wen es genau interessiert. Das ernüchternde Ergebnis: Er hat seine Ergebnisse mehrfach versucht zu reproduzieren, hat es allerdings nie wieder geschafft und war folglich schwer enttäuscht.

Er hat diese Problematik später „Cosmic Habituation“ genannt und sich dazu wie folgt geäußert:

“It’s an inevitable process of adjustment, a ratcheting down of excitement. I started joking that it was like the cosmos was habituating to my ideas. I took it very personally.” (Original Artikel)

Was lernen wir daraus?

Es kann schlichtweg passieren, dass genau dieser Effekt eintritt. D.h. nach dem Testing und der Umstellung auf den Testsieger bleibt der gewünschte Uplift aus – das habe auch ich tatsächlich schon in der Praxis gesehen. Das heißt aber auch nicht, dass man Geld vernichtet hat. Man sollte das getestete Element und die dazugehörige Hypothese schlichtweg weiter untersuchen. Man kann den Test auch wiederholen, allerdings ist die Wahrscheinlichkeit gering, das Ergebnis zu reproduzieren.

Was ich interessant an diesem Phänomen finde: Schooler stellt mit seiner „Cosmic Habituation“ die Validität von statistischen Tests in Frage. D.h. er hält es für möglich, dass Tests unter erneuter Durchführung unter gleichen Rahmenbedingungen zu gleichen Ergebnissen führen würden. Halte ich für sehr interessant, ist mir aber (wie geschrieben) auch schon passiert.

Also: Den Kopf nicht hängen lassen. Was können wir dafür, wenn sich der Comos an unsere Testideen gewöhnt hat? 😉

Wie sind Eure / Ihre Erfahrungen mit einem derartigen Phänomen? Etwas ähnliches schon einemmal erlebt?

 

 








About the author
Gabriel Beck
Gabriel Beck ist Mitglied der Geschäftsleitung beim Conversion Spezialist Web Arts AG. Kontakt zu: Google+ Facebook Fanpage




5 Kommentare für: Über den Conversion Uplift und das böse Erwachen

André Morys

Danke Gabriel für diesen sehr guten Artikel der klarstellt, dass man nicht alleine durch Testen zum Besten kommt. Diesen Effekt kennen wir sehr gut. MVT Resultate werden immer im Nachgang im A/B Test validiert und da kommt es meist schon, das böse Erwachen.

Aber: das mit der kosmischen Gewöhnung klingt mir viel zu einfach. Ich beobachte sehr oft, dass sich die Experten irgendwann nur noch an Zahlen orientieren und aufhören nach Erklärungen zu suchen. Der kosmische Effekt würde das sogar noch unterstützen.

Ich schlage einen anderen Weg vor:
So lange testen, bis man das „Warum“ verstanden hat. Erst wenn man das Prinzip verstanden habe, kann ich das System beherrschen. Manchmal sind es Kleinigkeiten, die den Uplift zerstören – aber die muss ich eben verstehen.

Martin

Das ‚Warum‘ ist wohl in den seltensten Fällen NICHT der Besucher. Für mich sind Testing-Ergebnisse sowieso nur Momentaufnahmen. Und ich geh davon aus, dass ein Sieger A aus einem A/B-Test nach einer gewissen Zeit als Verlierer des gleichen Tests hervorgehen kann.
Menschen verändern sich. Warum also Testen? Gut-Feeling tut’s meistens auch

Gefahren bei der Interpretation von A/B-Tests — Online Marketing optimieren

[…] Thema machte kürzlich in den sozialen Medien die Runde und wurde auch in einem Artikel vom “Conversion Doktor” Gabriel Beck aufgenommen. Los getreten wurde das Ganze […]

5 grobe Testing-Fehler, die viel Geld kosten können | Conversion Optimierung, Landingpage Optimierung - KonversionsKRAFT

[…] Weitere Informationen: “Cosmic Habituation” als Erklärung von Gabriel Beck […]

5 grobe Testing-Fehler, die viel Geld kosten können | konversionsKRAFT

[…] Weitere Informationen: “Cosmic Habituation” als Erklärung von Gabriel Beck […]





Leave a comment





 

Kontakt

© Conversion und Landing Page Optimierung Blog 2016 - Conversion und Landingpage Optimierung Blog