Checkliste Splittest
Auf Twitter hab ich heute (10.11.09) einen Tweet von johncow (Jason Katzenback) zum Thema Checkliste Splittest gefunden.
Hier eine kurze Zusammenfassung der Checkliste Splittest nach Jason Katzenback
- Testziel definieren
- Kennzahlen zur Erfolgsmessung
- Effekte isolieren
- Kontrollgruppe definieren
- Beschreibende Testnamen verwenden
- Ergebnisse interpretieren
- Testing als iterativer Prozess
(Freie Übersetzung)
Im Folgenden möchte ich die Checkliste beschreiben und um ein paar Anmerkungen anfügen. Checklisten zum Splittesting hängen von der eigenen Vorgehensweise beim Testing ab und sind daher auch immer subjektiv. Allerdings gibt es kleinste gemeinsame Nenner, die in vielen Splittest Checklisten vorkommen und daher auch nicht fehlen dürfen.
(Freie Übersetzung nach Jason Katzenback – Quelle: www.johncow.com)
1. Testziel definieren
Testen ohne Hypothesen ist zwar möglich, aber methodisch gesehen nicht “sauber”. Von daher sollten Annahmen getroffen werden und daraus Hypothesen abgeleitet werden.
Diese können wie folgt lauten:
- “Die Landingpage mit grünem Button konvertiert besser, als die Landingpage mit rotem Button”
- “Die Landingpage mit Zielgruppenansprache in der Headline funktioniert besser als die LP ohne Zielgruppenansprache in der Headline”
- “Die Landingpage mit Keyvisual A funktioniert besser als die Landingpage mit Keyvisual B”
- …
2. Kennzahlen zur Erfolgsmessung
Um den Erfolg beim Testing messen zu können, muss vor Testbeginn definiert werden, woran der Erfolg gemessen wird. Kennzahlen zur Erfolgsmessung sind → Conversion Rates. Die Schwierigkeite beim Split Testing ist allerdings auch die Anzahl der Actions pro Tag. Um signifante Testergebnisse erzielen zu können, sind mindestens 10 Actions pro Tag nötig. Allerdings hängt das auch von den Unterschieden zwischen zwei Landingpages ab.
Vor Testbeginn muss definiert werden, ob die Clickrate auf der Landingpage oder beispielsweise die Lead Conversion Rate beim Splittest gemessen werden soll.
3. Effekte isolieren
Häufig sind übersteigerte Erwartungen an einen Split Test schuld daran, dass zu viele Sachen auf einmal variiert werden. Dabei werden Testeffekte “verwässert”. Methodisch einwandfrei ist allerdings die Variation nur eines Testelements.
4. Kontrollgruppe definieren
Um den Erfolg eines Splittests messen zu können, muss zuvor eine Kontrollgruppe definiert werden. Nur so kann die Performance einer Landingpage-Variante im Vergleich bewertet werden. Es kann anschließend folgende Aussage getroffen werden: “Landingpage Nr.5 konvertiert besser als die Landingpage – Kontrollgruppe” Man testet also neue Varianten immer gegen den Testsieger. Somit steigert man die Conversion über die Zeit gesehen kontinuierlich.
5. Beschreibende Testnamen verwenden
Im Verlauf des Testings “sammeln” sich immer mehr Split Tests an. Da sich nicht an Namen wie Test-Nr.64 erinnern kann, sollte man Tests Namen geben. Beispielsweise ist Test-Nr.64 der “Zielgruppen-Ansprache”-Test der Headline gewesen. Wichtig ist in diesem Zusammenhang auch die Dokumentation von Änderungen, Ergebnissen und Reduktion von Test-Varianten.
6. Ergebnisse interpretieren
Ebenso wie im Vorhinein das Definieren von Hypothesen, ist im Nachhinein die Interpretation der Testergebnisse wichtig. Auf diese Weise können Rückschlüsse auf die Zielgruppe gezogen werden. Ergibt ein Split Test zum Beispiel, dass die Headline 1 mit Zielgruppenansprache besser konvertiert als die Headline 2 – ohne Zielgruppenansprache, so kann festgehalten werden, dass die User eine persönliche Ansprache honorieren. Das wiederum bedeutet, dass diese Erkenntnisse auf das Dialog-Marketing übertragen werden sollte. Newsletter, Banner und AdTexte sollten auf diesen Aspekt hin auch untersucht und gegebenenfalls getestet werden.
7. Testing als iterativer Prozess
Abschließend soll angemerkt werden, dass aus Testergebnissen immer wieder neue Testhypothesen entstehen können. An die perfekte Landing Page, den perfekten Online Shop oder Bestellprozess kann man sich mit Testing nur annähern, erreichen kann man sie allerdings nicht. Allerdings kommt irgendwann der Gedanke des Grenznutzens ins Spiel. Sprich: Wieviel Aufwand muss ich betreiben, um die Conversion der Landing Page oder des Bestellprozesses weiter steigern zu können?
Fazit
Die Checkliste von Jason Katzenback finde ich gelungen. Wie gesagt, vollständige und einheitliche Checklisten findet man wohl nie, aber immer wieder wichtige Punkte von Checklisten zum Thema Split Testing.
Ein paar Anmerkungen habe ich zu den einzelnen Punkten der Checkliste gegeben und hoffe, dass ich noch einen tieferen Einblick ins Theme Splittest geben konnte?
Ich freue mich auf Feedback!
Weiterführende Informationen
→ Conversion Rates Online Shops
Add A Comment