3 Tipps für bessere Hypothesen beim Website Testing




Beim Website-Testing wird leider allzu häufig die Hypothese des Tests erst nach der Auswertung der Testergebnisse erstellt. D.h. man sucht hinterher in den Daten eine mögliche Hypothese, die man natürlich auch mit den Daten belegen kann. Wer gleich gar keine Hypothese erstellt, der begibt sich auf eine Irrfahrt, die bekanntlich Zeit und damit auch Geld kostet.

Der heutige Artikel ist ein Interview mit Fabian Liebig von optimizely, der uns ein paar Tipps für bessere Hypothesen beim Website Testing verrät und einen Ausweg aus dem Labyrinth des Testings aufzeigt.

conversiondoktor >

Hi Fabian: Stell’ Dich meinen Lesern kurz vor, damit wir wissen, mit wem ich spreche?

> Fabian Liebig (Optimizely)

Fabian Liebig optimizelyHallo Gabriel. Freue mich sehr, bei dir heute zu Gast zu sein. Mein Name ist Fabian Liebig. Ich leite seit etwas mehr als anderthalb Jahren das Marketing für den deutschsprachigen Markt bei Optimizely. Für diejenigen, die mit optimizely noch nicht so viel so viel anfangen können, die Einsatzerklärung. Wir sind die weltweit am meisten genutzte Plattform für Optimierung von Webseiten und Apps durch A/B- und Multivariate Tests. Ich selbst interessiere mich sehr für den Einsatz von Verfahren wie Testing um festellen zu können, wie Besucher mit Webseiten und Apps interagieren, wo sie Schwierigkeiten haben und wie man durch alternative Konzepte die Nutzererfahrung und gleichzeitig auch den wirtschaftlichen Nutzen der Webseite verbessern kann. Gerne teile ich auf blog.optimizely.de auch etwas Inspiration und Praxisbeispiele zum Thema Testing und Optimierung.

conversiondoktor >

Warum ist eine Hypothese für einen Website Test so wichtig?

> Fabian Liebig (optimizely)

Ich denke man kann das sehr gut mit einer Autofahrt vergleichen. Wenn ich in mein Auto steige und ohne Plan nur in der Gegend umherzufahre, dann komme ich natürlich irgendwo an, aber vielleicht ist diese Reise keine gewinnbringende Erfahrung und ich erreiche nicht das Ziel, zu dem ich ursprünglich hinwollte.

Genauso verhält es sich mit dem Thema Testing und einer Hypothese. Die Hypothese hilft mir, das Ziel meines Tests klar zu definieren. Auch wenn das Erstellen von Hypothesen nicht garantiert, dass ich einen Uplift erhalte, so ist auf jeden Fall gesichert, dass ich aus dem Experiment etwas lerne und zwar genau über den Webseitenbereich, den ich optimieren möchte.

Man muss sich da noch einmal verdeutlichen, was man mit dem Testen online erreichen möchte – nämlich mehr über das Verhalten seiner Besucher zu erfahren. Das ist ganz genauso wie in der Wissenschaft – nehmen wir doch einmal das Beispiel Medizin. Wenn ich den Effekt eines Medikamentes an 2 verschiedenen Testgruppen testen möchte, dann muss ich auch eine Hypothese erstellen. Denn ich muss festlegen welche Veränderungen es gibt (z.B. Dosierung der Medizin) und wie ich den Effekt messen möchte (z.B. Genesungszeit eines Patienten, Nebenwirkungen). Wenn ich diese Variablen weiß, dann kann ich auch eine klare Aussage treffen, ob die Dosierung einen Einfluss auf die Genesungszeit hat oder nicht. Auf Webseiten ist es ganz genauso und deswegen ist eine gute Hypothese extrem wichtig, denn sie hilft uns, das Zusammenspiel von Ursache und Wirkung zu verstehen.

conversiondoktor >

Kann man Website Tests nicht einfach nur auswerten und sich immer für den Gewinner entscheiden?

> Fabian Liebig (optimizely) 

Um ehrlich zu sein würde ich da sehr stark von abraten. Eine Hypothese ist ja eine Aussage oder eine Annahme, die ich durch einen Test beweisen oder widerlegen möchte. Wenn ich diese Hypothese nicht vor dem Test erstelle, dann weiß ich nicht wirklich, worauf ich hin arbeite und wie ich diese mögliche Veränderung messen möchte. Man muss auch darauf achten, dass Komponenten auf einer Webseite natürlich immer in einer gewissen Beziehung stehen.

Ein einfaches Beispiel:

Wir erstellen zwei Varianten einer Produktseite. Im Original habe ich einen längeren Text, der die Vorteile des Produktes erläutert. In der zweiten Variante kürze ich diesen Text – Besucher erfahren weniger über das Produkt. Nach dem ich den Test live stelle, bemerke ich, dass die zweite Variante wesentlich mehr Klicks auf den Button erhält. Ich denke dann wahrscheinlich: “Wow. Riesenerfolg – sofort einbauen.” Vielleicht ist aber die Conversion Rate, die Anzahl der eigentlichen Bestellungen, gleich geblieben oder sogar leicht gesunken. Ich habe dann zwar eine Veränderung festgestellt (nämlich mehr Klicks), die für mich bedeutendere Messgröße (Conversions) hat sich aber verschlechtert. Wenn ich mich also für Variante 2 entscheide, booste ich zwar Klicks, aber nicht Conversions. Das kann in diesem Fall nicht mein Ziel sein und so hätte ich mit diesem Test mein Ziel verfehlt. Durch eine klar formulierte Hypothese stelle ich sicher, dass ich auf das richtige Ziel hin optimiere und dann auch die richtigen Learnings darausziehen kann. Wenn eine Hypothese gewinnt und einen Anstieg im zu optimierenden KPI nach sich zieht, dann ist das natürlich umso besser.

Ich würde fast soweit gehen und sagen, dass man ohne Hypothese vielleicht überhaupt keinen Test aufsetzen sollte.

Anmerkung conversiondoktor: Ich würde noch weiter gehen: Testing ohne Hypothesen ist Raten!

conversiondoktor >

Wie erstellt man eine gute Hypothese?

> Fabian Liebig (optimizely)

Bevor man eine Hypothese erstellt, sollte man sich klar machen, welches Ziel man mit einem Test verfolgt. Was möchte ich verbessern? Hypothesen sollten darauf ausgerichtet sein, dieses Ziel zu beeinflussen. Hier gilt, je quantifizierbarer und je eindeutiger die Aussage, desto besser. Wenn es dann um die Struktur einer Hypothese geht, dann kann man diese ganz gut in 3 Teile aufteilen.

Die Hypothese hat das folgende Muster:

„Wenn ____, dann ____, weil ____.“

Die drei Bestandteile der Hypothese sind die (1) Variable, das gewünschte (2) Ergebnis und die (3) Begründung. Bevor wir ein Experiment aufsetzen sollten diese Bestandteile analysiert, kombiniert und dokumentiert werden.

Bei der (1) Variable meinen wir ein Element auf der Webseite oder in einer App, das wir isolieren und verändern möchten. Ein Beispiel einer Variable kann ein Call-to-Action sein, Text, Bilder, Navigationselemente oder Formulare.

(2) Ergebnis bezeichnet das erwartete Resultat des Tests. Das kann, bezogen auf unser übergeordnetes Ziel unseren KPI, gesteigerte Klicks, gesteigerte Downloads oder gesteigerte Bestellungen darstellen.

Die (3) Begründung soll zeigen, dass wir unsere Hausaufgaben in Bezug auf das Experiment gemacht haben. Quantitative oder auf Intuition beruhende Daten helfen uns bei der Beantwortung der Frage nach dem Grund für den Test und den zu erwartenden Erkenntnissen. Der Grund für einen Test könnte sein, dass man im Check-Out verschiedene Bezahlverfahren testen möchte, da man bei der Auswahl des Bezahlverfahrens in seinem Analytics Tool sehr hohe Abbruchraten feststellen konnte.

Eine klar fomulierte Hypothese wäre zum Beispiel: Wenn ich “das Suchfenster” von rechts unten nach links oben neben das Logo setze, dann erhöhe ich Klicks auf die Suche, weil wir aus Erfahrung und Heatmaps wissen, dass Besucher sehr stark auf das Logo achten und weiter oben auf der Seite mehr geklickt wird als unten.

Bestandteile Hypothesen

conversiondoktor >

Was ist das Ergebnis eines Tests mit einer Hypothese, was lässt sich daraus ableiten?

> Fabian Liebig (optimizely) 

Es kann eigentlich drei verschiedene Ergebnisse geben.

1. Unsere Hypothese kann sich als richtig erweisen (verifizieren), d.h. dass der erwartete Effekt bei einer gewissen Veränderung eingetreten ist und ich diesen messen konnte. Beispiel: Wir konnten messen, dass ein rechts vom Bild positionierter Call to Action 10% mehr Bestellungen generierte als ein links vom Bild angesiedelter.

2. Als zweite Möglichkeit kann passieren, dass sich eine Hypothese nicht bestätigt und wir diese zurückweisen können (falsifizieren). Beispiel: Ich möchte testen, warum meine Abbruchrate von der Produktseite z.B. ein Schuh, zum nächsten Schritt so hoch ist. Meine Vermutung: Das Produktbild. Ich denke, dass ich durch ein größeres Bild, das den Schuh an einer Person zeigt, die Abbruchrate verringern kann. In meinem Test finde ich heraus, dass die Abbruchrate in der Alternative höher ist als beim Original. An dem Bild kann es also nicht liegen – wir belassen die Originalvariante.

3. Als letzte Möglichkeit kann es auch sein, dass wir zwischen den Varianten keine Veränderung feststellen. Dann können wir die Hypothese verwerfen, denn die Veränderung war nicht der ausschlaggebende Faktor (vielleicht war diese nicht wahrnehmbar?) und wir haben keine Veränderung im Verhalten unserer Besucher beobachten können.

Vielleicht macht es dann Sinn stärkere Veränderungen oder Kontraste zu testen. Alle drei Ausgänge teilen eine Gemeinsamkeit – wir haben etwas über unsere Besucher gelernt und wissen, was ihr Verhalten beeinflusst oder nicht. Diese Erkenntnisse können wir nun für die weitere Analyse und die nächste Hypothese verwenden.

Anmerkung conversiondoktor >

Zum Thema Kontrast beim Testing hier eine Lese-Empfehlung im konversionsKRAFT Blog „Mut zu mehr Kontrast beim Testen“

conversiondoktor >

Fabian, welche 3 Tipps für bessere Hypothesen als Ausweg aus dem Labyrinth kannst Du geben?

3 Tpps für bessere Hypothesen

> Fabian Liebig (optimizely)

1. Hypothesen müssen quantifizierbar sein

Ich denke, bevor wir darüber sprechen, bessere Hypothesen zu erstellen, sollten wir uns in Erinnerung rufen, dass wir durch Tests messen wollen, ob wir ein Optimierungsziel erreichen. Dieses Ziel muss dann auch messbar sein. Eine Hypothese wie

“Wenn wir das Formular um 3 Felder kürzen, dann verbessern wir die Nutzererfahrung, denn niemand mag es, Formulare auszufüllen.“

Diese Hypothese enthält alle oben erwähnten Bestandteile, doch wie quantifiziere ich eine gute Nutzererfahrung? Weniger Abbrüche? Mehr ausgefüllte Formulare? Diese Dinge sollte man vorher klar festlegen.

2. Jede Hypothese dokumentieren

Das hilft nicht nur dabei einen guten Überblick zu behalten, sondern man kann dann nach einem Test zurückgehen und sehen, ob die Hypothese richtig oder falsch war. Auch ist es ratsam vor zukünftigen Tests einen Blick auf frühere Testhypothesen zu werfen. Welche Faktoren sind vielleicht nicht wirklich ausschlaggebend? Welche Dinge habe ich noch nicht getestet? Wenn ich Hypothesen dokumentiere, dann kann ich mein Wissen und meine Erfahrungen auch viel besser mit anderen Leuten teilen.

3. Nicht nur die Lieblingshypothese testen

Es hilft, eine Reihe an Hypothesen festzulegen, die nicht immer nur genau die aus meiner Ansicht naheliegendste Annahme repräsentieren. Nicht immer wird meine “Lieblingshypothese” der Gewinner sein. Je stärker der Kontrast zwischen dem Original meiner Webseite und der Variable, die ich optimieren will, desto höher die Wahrscheinlichkeit, dass wir einen Effekt auf meine KPIs messen können. Wenn ich also eine Buttonfarbe teste werde ich weniger über meine Besucher lernen als wenn ich eine komplett anders gestaltete Landing Page gegen das Original teste.

Anmerkung conversiondoktor >

Hier noch eine Checkliste, wie man Testhypothesen priorisiert > CHPL – Das Schweizer Taschenmesser der Testpriorisierung

Fabian, vielen Dank für das Interview! Weiterhin viel Erfolg!

 

Wie geht Ihr mit der Priorisierung von Testideen um? Gibt es Fragen an Fabian zur Erstellung von Testhypothesen?

Gerne in den Kommentaren.

 








About the author
Gabriel Beck
Gabriel Beck ist Mitglied der Geschäftsleitung beim Conversion Spezialist Web Arts AG. Kontakt zu: Google+ Facebook Fanpage




3 Kommentare für: 3 Tipps für bessere Hypothesen beim Website Testing

Brainstorming für A/B Tests – 21 Tipps für Ihren nächsten A/B Test – Optimizely Blog – Germany

[…] 21. Nutzen Sie die Ergebnisse eines früheren Tests. Jeder Test sollte von einer Hypothese ausgehen. War die Variante eine Gewinner- oder Verlierervariante oder war kein Unterschied zu erkennen? Treffen Sie weitere Vorhersagen, und planen Sie nachfolgende Tests, die auf den Erkenntnissen aus früheren Tests basieren. Hier ein Artikel mit 3 Tipps für bessere Hypothesen. […]

Durch Brainstorming zu mehr Ideen – 21 Tipps für Ihren nächsten A/B Test – Optimizely Blog – Germany

[…] 21. Nutzen Sie die Ergebnisse eines früheren Tests. Jeder Test sollte von einer Hypothese ausgehen. War die Variante eine Gewinner- oder Verlierervariante oder war kein Unterschied zu erkennen? Treffen Sie weitere Vorhersagen, und planen Sie nachfolgende Tests, die auf den Erkenntnissen aus früheren Tests basieren. Hier ein Artikel mit 3 Tipps für bessere Hypothesen. […]

Wie Sie Ideen für A/B Tests objektiv priorisieren – Optimizely Blog – Germany

[…] benötigen kreative Ideen, fundierte Hypothesen, einen leistungsstarken Priorisierungsprozess und Freude am Testen und Optimieren, um Pauline […]





Leave a comment





 

Kontakt

© Conversion und Landing Page Optimierung Blog 2017 - Conversion und Landingpage Optimierung Blog