Der Weg ist das Ziel!

Dieses geflügelte Sprichwort (angeblich von Konfuzius, tut aber nichts zur Sache) klingt zwar angesichts der Materie etwas komisch, birgt aber viel Wahres.

Viel Spaß bei der Lektüre und viel Erfolg auf dem Weg zur höherer Conversion Rate

Informationsarchitektur und Navigation als Basis für den “Flow”

Man stelle sich vor, man hat eine Website, mit der ein bestimmtes Produkt vermarktet werden soll. Dieses Produkt ist darüber hinaus etwas erklärungsbedürftiger – beispielsweise eine Versicherung, ein Bank-Konto mit speziellen Zusatzservices, ein Handy-Vertrag und und und. Daher sind mehrere Content-Seiten notwendig, um die Einzelaspekte des Produktes zu erläutern (weiterführende Informationen zum Riestersparen, oder zur Handy Flatrate XYZ oder oder). Schematisch sei einer der Hauptpfade der Nutzer auf der Seite so dargestellt (ohne die Wechselwirkungen zwischen den einzelnen Seiten zu berücksichtigen).

Im Zuge der Konzeption hat sich jemand einen Kopf darüber gemacht, wie man die Informationen den Nutzern sinnvoll strukturiert aufbereitet und präsentiert. Sollten darüber hinaus Konzept-Tests, Klickdummies und Co. mit den Nutzern durchgeführt worden sein, befindet man sich zumindest einmal auf einem guten Weg zur “perfekten” Website. Sollte dies aber nicht stattgefunden haben, so kann es durchaus sein, dass die aufbereiteten Informationen nicht dem entsprechen, was Nutzer für sich persönlich als sinnvoll erachten. Das Wort sinnvoll steht hier mal ohne Wertung.

Der goldene Weg zur Bestellung existiert nicht!

In der Realität ergeben sich häufig viele unterschiedliche (alternative) Klickpfade der Nutzer auf dem Weg zu einer Bestellung (via Formular oder Checkout). Diese Klickpfade hängen darüber hinaus auch noch vom Suchinteresse (Keyword),  von der Traffic- Quelle, vom Nutzungskontext, in denen sie sich befinden oder vom Präsentationsmedium usw.  ab.  Den perfekten und einzigen Pfad gibt es daher also nicht.

Trampelpfade, d.h. Wege die häufig begangen werden aber schon. Ziel muss es daher sein, die Wege zu identifizieren, die häufig zur Bestellung führen und diese Trampelpfade der Masse zugänglich zu machen, oder für jede Form der Navigation dynamische (intelligente) Pfade zu ermöglichen. Wir beschränken uns mal auf den ersten Fall.

Wie erkenne ich wichtige Trampel (Klick-)pfade?

Zum einen können Daten aus der Webanalyse herangezogen werden, um den Status Quo der Trampelpfade zu erheben, zum anderen können Testpersonen befragt und/oder beobachtet werden, um herauszufinden, wie sie sich auf der Webseite verhalten, wenn sie ein Produkt kaufen möchten. Die Frage nach dem Warum gibt darüber hinaus noch tiefergehende Einblicke und ein Verständnis dafür, warum sich die Nutzer für einen bestimmten Weg entschieden haben. Allerdings können bei der qualitativen Analyse nur begrenzt viele Nutzer befragt, oder beobachtet werden.

Klickpfad-Analyse als quantitative Status Quo Betrachtung

Mittels Klickpfad-Analyse werden die Besucher-Ströme auf einer Webseite aller Besucher aggregiert und visualisiert. Google Analytics hat mit der Version 5 die “Visitor Flow” Auswertung zur Verfügung gestellt, die neben

der reinen Visualisierung der Klickpfade auch verschiedene Segmentierungen ermöglicht. Außerdem gibt es den Report “Goal Flow”,  in die Hauptpfade zum Conversion Goal (wie auch immer man das selbst definiert hat) abgebildet werden. Welche Seiten in einem Kaufprozess beteiligt sind, kann man übrigens auch mit dem $index in Google Analytics herausfinden.

Analyse des Visitor-flow mit Google Analytics

Hier eine Anleitung, wie man den Goal Flow aufsetzt → Google

Zusätzlich eine Video- Anleitung, wie ein Goal Flow in Abhängigkeit von unterschiedlichen Browsern ausgewertet werden kann

Click here to view the video on YouTube.

Ergebnis der Klickfpad-Analyse (für Kaufabschlüsse, Leads, etc.)

Als Ergebnis der Klickfpad- Analyse sieht man die wichtigsten Pfade für ein Conversion Goal (Sale, Lead…). Hier kann man zumindest die am besten funktionieren Argumentationskette für ein Produkt von den anderen extrahieren. Legt man sich die Screenshots dieses Szenarios daneben, so erhält man einen Eindruck darüber, ob der von den Nutzern bevorzugte Weg auch der ist, der mittels Webdesign, Navigation und Informationsarchitektur auch als Trampelfpad zu erkennen ist. Darüber hinaus kann man die Trampelpfade für unterschiedliche Traffic- Quellen untersuchen, um herauszufinden, ob es hier massive Unterschiede und damit eine Berechtigung für ein zusätzliches Szenario gibt (Frage: “Fließt” ein Besucher, der über ein generisches Keyword kam genauso durch die Seite, wie ein Nutzer, der über ein Brand-Keyword kam?)

Szenario Testing als Optimierungsansatz

Hypothesen, die auf Basis der Klickpfad- Analyse gebildet worden, können zum Beispiel wie folgt lauten:

• Die Conversion Rate der Versicherung ist höher, wenn die Nutzer über das FAQ Center geleitet werden.
• Der Umsatz für den Weg über die Tarif-Details ist höher als der Standard-Weg über die Produkt- Kurzinfo.
• Wenn die Informationsseite XY im Kaufprozess besucht wird, werden mehr Leads erzeugt.
• Ein Hervorheben der Hilfe-Seiten im Checkout per Link im sichtbaren Bereich steigert die Sales Conversion Rate.
• etc.

Schematisch kann man sich das Ganze dann so abbilden. Dabei muss auch nicht immer ein längerer Weg besser sein. Das Entfernen von “Umleitungen” kann auch Resultat eines solchen Tests sein.

Fazit

Es müssen nicht immer Headlines, Wordings, etc. getestet werden. Häufig ist der Weg tatsächlich das Ziel, denn Besucher einer Webseite navigieren auf unterschiedliche Art und Weise. Mittels Testing von Szenarien findet man die wirklich wichtigen Pfade zum Abschluss heraus. Wenn man sich anschließend von unnützen Umleitungen befreit, “fließt” der Nutzer einfacher durch die Seite, die User Experience steigt und die Conversion Rate (Umsatz, DB, etc.) auch.

Viel Erfolg beim Testen!

Related Posts

1. Über das Scheitern beim Website Testing!
2. A/B Testkonzept für Online Shops – Kategorie vs. Suche
3. Checkliste Splittest

Aber dann kommt alles ganz anders. Um es mit den Worten der Fanta4 auszudrücken:

“Es könnt’ alles so einfach sein, isses aber nicht”

Über das Scheitern beim Testing hatte ich schon geschrieben, hier geht es allerdings um die Effekte nach der Umstellung auf den Testsieger.

Nun nochmal ganz von vorne:

Beim Website-Testing werden Testhypothesen auf ihre Gültigkeit mithilfe von Testingtools überprüft. Hierbei kann auf A/B/n oder multivariates Testing zurückgegriffen werden.

Im Idealfall stellt sich nach ein paar Tagen Testing folgendes Bild dar:

Die Variante B (rote Linie) erzielt eine höhere Conversion Rate und kumuliert über die Zeit mehr Conversions an. Der Testzeitraum liegt hier bei ca. 2 Wochen.

Signifikanz als Zünglein an der Waage

Inwiefern ein Testergebnis statistisch signifikant ist (d.h. die Wahrscheinlichkeit für einen Zufallsfehler ist sehr gering), oder nicht, geben die Testingtools in der Regel mit an. Im Allgemeinen sollte die statistische Signifikanz minimum 90% betragen, d.h. der Zufallsfehler läge hier bei 10%.

Das Beispiel zeigt einen Uplift von +17,88% bei einer Signifikanz von 92%.

Ca. 18% Uplift können richtig klingeln in der Kasse – also: Umstellen auf den Testsieger!

Nun kommt das böse Erwachen!

Nach der Umstellung der Website auf den Testsieger ändert sich an der Conversion Rate nichts, auch die erhofften zusätzlichen Euros/ Dollars, etc. bleiben aus. Es ist alles wie vorher!

Doch was ist passiert? Über die folgende Erläuterungen bin ich im Blog analytics impact gestolpert.

Signifikanz ist nicht Signifikanz

Die Testingtools geben die statistische Signifikanz dafür aus, ob eine Variante besser verformt als die andere. Es wird allerdings nicht überprüft, inwiefern der Uplift statistisch signifikant ist! Hier liegt der Teufel im Detail. Beim multivariantem Testing zum Beispiel kann der Einfluss eines getesteten Elements auf die Conversion Rate ermittelt werden (mittels Varianzanalyse oder ANOVA), allerdings auch nicht, ob der erzielte Uplift signifikant ist!

Das bedeutet ganz konkret: Der Testsieger steht zwar fest, der Uplift kann allerdings nicht signifikant belegt werden.

“Cosmic Habituation” als Erklärung

Es gibt eine interessante Studie, die Jonathan Schooler in den 80-igern über Sprache und Erinnerungsvermögen durchführte und später wiederholen wollte. Es ging im Detail um das Phänomen des “verbal overshadowing” – wen es genau interessiert. Das ernüchternde Ergebnis: Er hat seine Ergebnisse mehrfach versucht zu reproduzieren, hat es allerdings nie wieder geschafft und war folglich schwer enttäuscht.

Er hat diese Problematik später “Cosmic Habituation” genannt und sich dazu wie folgt geäußert:

“It’s an inevitable process of adjustment, a ratcheting down of excitement. I started joking that it was like the cosmos was habituating to my ideas. I took it very personally.” (Original Artikel)

Was lernen wir daraus?

Es kann schlichtweg passieren, dass genau dieser Effekt eintritt. D.h. nach dem Testing und der Umstellung auf den Testsieger bleibt der gewünschte Uplift aus – das habe auch ich tatsächlich schon in der Praxis gesehen. Das heißt aber auch nicht, dass man Geld vernichtet hat. Man sollte das getestete Element und die dazugehörige Hypothese schlichtweg weiter untersuchen. Man kann den Test auch wiederholen, allerdings ist die Wahrscheinlichkeit gering, das Ergebnis zu reproduzieren.

Was ich interessant an diesem Phänomen finde: Schooler stellt mit seiner “Cosmic Habituation” die Validität von statistischen Tests in Frage. D.h. er hält es für möglich, dass Tests unter erneuter Durchführung unter gleichen Rahmenbedingungen zu gleichen Ergebnissen führen würden. Halte ich für sehr interessant, ist mir aber (wie geschrieben) auch schon passiert.

Also: Den Kopf nicht hängen lassen. Was können wir dafür, wenn sich der Comos an unsere Testideen gewöhnt hat?

Wie sind Eure / Ihre Erfahrungen mit einem derartigen Phänomen? Etwas ähnliches schon einemmal erlebt?

Related Posts

1. Über das Scheitern beim Website Testing!
2. Landing Page Case Study // Uplift +177%
3. Checkliste Splittest

<kritische Anmerkung auf> Facebook Fanpages schießen wie Pilze aus dem Boden und versuchen mit dem 1.000.  Gewinnspiel die Menschen da draußen dazu zu bringen, Fan zu werden, damit sie anschließend die gleichen Produkte nur in einem anderen Kanal vermarkten wollen. </kritische Anmerkung zu>.

Doch worauf achten die Facebook Nutzer da draußen, wenn Sie eine Facebook Fanpage “betreten”? Eine aktuelle Eyetracking- Studie gibt einen interessanten Einblick.

Infos zur Studie

Die Eyetracking Studie der Facebook Fanpages wurde durchgeführt von http://eyetrackshop.com/ und auf mashable.com veröffentlicht. Es wurden 30 Probanden untersucht, wobei darauf hingewiesen wurde, dass die Anzahl der Probanden schon sehr gering sei, und vor allem der Nutzungskontext bei einer derartigen Analyse wichtig sei.

Wichtige Erkenntnisse

• Die “Wall” ist eines der wichtigsten Elemente und wird häufig länger betrachtet als der Rest (nicht wirklich erstaunlich)
• Außnahme ist bei der Untersuchung die Fanpage von Vicotria’s Secret gewesen (Beispiel ist unten abgebildet)
• Normale “Fanpage” Profilbilder werden teilweise gar nicht wahrgenommen
• Bilder im oberen Bereich einer Fanpage werden sehr gut wahrgenommen (In 85% der Zeit wahrgenommen)
• Fotos auf der “Wall” ziehen eine große Aufmerksamkeit auf sich

 Hier ein paar Screenshots

Quelle ist jeweils http://mashable.com/2011/12/14/eyetracking-facebook-brand-pages/

Coca Cola // Facebook Fanpage

Victoria’s Secrets// Facebook Fanpage

Fazit

Ich bin der Meinung, dass eine Eyetracking Studie im Falle der Facebook Fanpages maßgeblich vom Nutzungskontext abhängt. Ich kann mir vorstellen, dass die Nutzer während des Surfens aufgrund der Untersuchungssituation (Labor-Charakter) ganz anders reagieren als vor dem heimischen Rechner. Hier spielen aus meiner Sicht vorallem auch die Facebook Freunde eine wichtige Rolle. Wie oft achtet man auf die Gesichter von bekannten Menschen?Die Aufmerksamkeit verschiebt sich unweigerlich, wenn ich einen guten Freund wiedererkenne.

Die Studie zeigt allerdings auch, dass der Content auch hier King ist. Wer seinen Content mit Bildern anreichert und interessante Posts reinbringt, der schafft es, die Aufmerksamkeit auf die wirklich wichtigen Dinge zu richten. Das führt soweit, dass sogar das Fanpage Profilbild in den Hintergrund tritt (Ausnahme sind hier natürlich Bilder, auf denen halbnackte Frauen abgebildet sind).  Interessant wäre hier gewesen, die Blicke auf Fanpages von unbekannten Brands zu analysieren.

Wichtig ist aus meiner Sicht, die Bilder oberhalb der Wall gezielt einzusetzen. Diese können auch als eine Alternativ-Navigation dienen, zeigt die Studie doch, dass die Nutzer die ehemaligen “Reiter” im linken Navigationsbereich erst sehr spät sehen. Das Navigationsverhalten hat sich hier noch nicht dem neuen Layout angepasst.

Kernaussage ist für mich: Gute Inhalte machen die Musik.

Link zum Orignialartikel

Im Original Artikel sind noch weitere Analyse-Ergebnisse anderer Fanpages enthalten.

http://mashable.com/2011/12/14/eyetracking-facebook-brand-pages/

Wie sehen Facebook Nutzer das Profil eines anderen Nutzers?

In der vorgestellten Studie wurde ebenfalls per Eyetracking gemessen, wie Nutzer andere Social Media Profile wie Facebook, Twitter, flickr, youtube, klout, digg, etc. betrachten.

Hier die Ergebnisse:

http://mashable.com/2011/11/30/social-profile-eye-tracking/

Related Posts

1. Facebook Landingpages – das kleine Einmaleins
2. Studie: Wie viel bringt ein Gastzugang im E-Commerce Checkout?
3. Was macht eigentlich…?

Doch wie können Ziele gemessen, ausgewertet und interpretiert werden?

Conversion Ziel innerhalb eines Conversion Prozesses

Nachfolgende Abbildung verdeutlicht, wo Schnittstellen innerhalb eines Conversion Prozesses vorliegen. Die Abbildung ist stark vereinfacht, denn es gibt in der Tat noch viel mehr Conversion Rates. All’ diese Micro-Conversion Rates können zudem auch als Ziel einer Optimierung dienen. Dabei wird versucht, den Funnel von Anfang bis Ende zu weiten, um den Optimum (der Utopie) einer Conversion Rate von 100% immer näher zu kommen.

Conversion Goals als Status Quo

Um zu wissen, wie es um meinen Conversion Prozess bestellt ist, braucht es zunächst einmal die Daten. Diese können mithilfe von Webanalyse-Tools einfach und auch sehr plakativ abgebildet werden. Wer hier noch ein paar Tipps speziell für Google Analytics benötig, dem kann das nachfolgende Webinar (englisch) weiterhelfen.

Click here to view the video on YouTube.

Related Posts

1. Google Analytics visualisiert den Benutzerstrom
2. Neue Google Analytics Version kommt!
3. Neue Google Analytics Funktionen

Was ich allerdings noch nicht gezeigt habe, ist die Vorgehensweise beim A/B Testing. Daher gibt es hier eine Checkliste mit den wichtigsten Punkten vor dem Setup eines A/B – Tests.

Die nachfolgende kurze Checkliste dient der Orientierung und soll dabei helfen, was man vor dem Test Setup nicht vergessen darf. Sie setzt zudem voraus, dass man bereits ein A/B- Testkonzept im Kopf hat und weiß, was man auf welcher Seite testen möchte. Idealerweise ist die Variante B bereits entwickelt.

 Checkliste: in 8 Schritten zum A/B-Test

1. Sichern des Status Quo
2. Dauer des Tests berechnen
3. Anzahl Conversions auswerten
4. Wahl der A/B – Testmethode
5. Traffic Segmentierung
6. Statistische Signifikanz
7. Conversion Goals
8. Auswahl Testing Tool und Setup

1. Sichern des Status Quo

Bevor man etwas ändert, ist es generell wichtig, den Status Quo zu sichern. Dies macht es einfacher, auch im Nachhinein herausfinden zu können, wo man ursprünglich hergekommen ist. Hier gehört nicht nur ein einfacher Screenshot von der unveränderten Seite, sondern auch, die Ursprungsvariante vorher technisch unverändert (inkl. Quellcode) zu sichern. Screenshot-Tools gibt es viele – für Firefox kann ich zum Beispiel → Screengrab empfehlen, da hiermit auch eine komplette Seite (also über den sichtbaren Bereich hinaus) gesichert werden können.

2. Dauer des Tests berechnen  - A/B Testing Duration Calculator

A/B Tests sollten generell nicht allzulange laufen. Ein Test der sehr lange laufen muss, um signifikante Uplifts zu generieren, weist im Grunde genommen darauf hin, dass der zu messende Effekt zu gering ist. D.h. das variierte Test-Element, oder die variierte Seite B hat demzufolge zu wenig Einfluss auf die Conversion Rate. Eine (persönliche!) Empfehlung lautet daher:

Nicht mehr als 2 Monate testen!

Wer sich vor einem A/B-Test ausrechnen möchte, wie lange ein Test dauert wird, kann verschiedene Testing Calculators verwenden. Ich möchte allerdings darauf hinweisen, dass man in derartigen Tools auch einen geschätzten Conversion-Uplift mit einberechnen muss. Eine derartige Schätzung fällt (auch uns Experten) schwer (näheres dazu im nächsten Punkt).

• A/B Test Duration Calculator (→ visualwebsiteoptimizer)

• A/B Test Duration Calculator (→ Google)

3. Anzahl Conversions auswerten

Die Frage nach den zu erwartenden Conversions zielt vor allem auf Tests ab, die ein Mindestmaß an Conversions nicht erreichen können. Um dennoch testen zu können, muss man sich sogenannter Micro-Conversions bedienen. Hier eine Daumenregel, die bisher immer sehr gut funktioniert hat:

Man braucht pro getesteter Variante ca. 10 Conversions pro Tag.

Bei einem A/B Test bedeutet dies, dass man vor dem Test 20 Conversions pro Tag haben sollte, damit der Test nicht ewig läuft. Nun denkt man sich vielleicht: 20 Sales (als Beispiel) pro Tag für eine Variante hätte ich gerne, dann müsste ich nicht testen.

Daher muss man sich in diesem Fall der Micro-Conversions bedienen. Wichtig ist dabei, dass das eigentliche Conversion Goal (Beispiel Sale) neben den verschiedenen Micro-Conversion Goals (AddToCart, etc.) mit getrackt wird.

Auf den Punkt gebracht: Erst einmal die  Conversions pro Testseite im Webanalyse-Tool auswerten. Wer keine 20 Conversions pro Tag vor dem Test hatte, sollte sich auf die Suche nach anderen Conversion Goals begeben, bzw. Micro-Conversions definieren, die neben dem Hauptziel mit getrackt werden.

Beispiel Micro Conversion Rates:

• Click-Through-Rate
• Add-To-Basket-Rate
• Click-To-Product-Rate
• Basket-To-Buy-Rate

4. Wahl der A/B – Testmethode

Hier geht es nicht darum, zwischen A/B Testing oder multivariate Testing zu entscheiden, sondern vielmehr darüber, ob die optimierte Variante als eigenständige URL zur Verfügung steht, oder ob nur die Testelemente innerhalb der bestehenden Seite geändert werden.

Vereinfacht gefragt:

• Steht die neue Variante als eigene URL zur Verfügung? (www.domain.de/landingpage/version-b.html) >> ja / nein
• Ist die neue Variante über einen Parameter zu erreichen?  (www.domain.de/landingpage/?v=2) >> ja/nein?

Variante 1)

Wenn beides verneint wurde, dann handelt es sich um einen „normalen“ A/B -Test auf der Website, bei der ein bestimmtes Element direkt ausgetauscht wird

Variante 2)

Wenn einmal mit „Ja“ geantwortet wurde, dann handelt es sich um Split-URL Test. In diesem Fall kann man das Testsystem so aufsetzen, dass beim Aufruf einer URL vom System entschieden wird, welche Variante ausgespielt wird. Wichtig ist dabei, dass die ursprüngliche Variante auch als „Control“ im System hinterlegt wird, denn das Tool kann die neue Variante nur dann anzeigen, wenn die URL auch aufgerufen wurde.

 5. Traffic Segementierung

Manchmal macht es Sinn, nicht immer den kompletten Traffic zu testen, sondern nur bestimmten Nutzergruppen (Neu vs. wiederkehrend, SEA Traffic für eine bestimmte Kampagne, organischer Traffic, Affiliate Traffic, mobile Nutzer, oder nur direkter Traffic). Bevor der A/B Test live geht, sollte man sich überlegen, ob man alle Nutzer mit einbezieht, oder nur ganz bestimmte. Eine Segmentierung des Traffics kann durchaus zu ganz anderen Ergebnissen führen, als ungefiltertes Testing. Nachfolgend ein paar Segmentierungsbeispiele.

Mein Tipp: SEA Traffic eignet sich in der Regel gut fürs A/B Testing, da dieser Traffic relativ gleichbleibende Qualität aufweist. Sollte der Test zum Uplift führen, kann das Konzept auch auf den kompletten Website Traffic ausgeweitet werden. Zur Segmentierung müssen beim Setup in der Regel die Kampagnen Parameter in der URL eingetragen werden.

6. Signifikanz – Wann ist ein A/B Test aussagekräftig

Ein A/B Test ist dann aussagekräftig, wenn eine gewisse Anzahl an Conversions aufgelaufen sind und der Test statistisch signifikant ist. In der Realität wird dies leider allzu häufig veranachlässigt, was nachfolgende Grafik verdeutlicht:

Wer mit einem A/B Testing Tool testet, der bekommt die Signifikanz (Chance to beat original, etc.) in der Regel mit ausgewertet. Bei manchen Tools kann vorher das Signifikanzniveau verändert werden. Aus der Praxis heraus kann ich empfehlen, das Signifikanzniveau auf 95% (= Fehlerwahrscheinlichkeit von 5%) einzustellen. Ein 90%-iges Signifikanzniveau ist ebenfalls vertretbar, sollte aber nicht Ziel einer Optimierung sein.  Nachfolgender Screenshot zeigt die Einstellung im Visualwebsiteoptimizer (Zu finden unter Test-Settings).

7. Conversion Goals

Das wichtigste beim Testing sind wohl die Conversion Ziele. Erst wenn man diese Kennzahlen steigern konnte, war ein Test auch erfolgreich. Doch welche Ziele sollte man setzen? Hierbei ist auf jeden Fall der Punkt 3 zu berücksichtigen, d.h. man muss auf die Anzahl der Conversions achten.

In einem Prozess (zum Beispiel Checkout) sollte man zudem immer alle Schritte mit tracken. Es ist einem nicht geholfen, wenn die optimierte Produktseite zwar mehr Warenkorb-Aufrufe hat, dafür aber weniger Abschlüsse (ja, das kann passieren!).

Je nachdem welches Testing Tool gewählt wird, ergibt sich daraus auch eine unterschiedliche Anzahl von möglichen Conversion Goals. Der Visualwebsiteoptimizer bietet zum Beispiel 7 Conversion Goals, wohingegen der Google Website Optimizer (auch wenn kostenlos) nur 1 Conversion Goal anbietet.

Wichtig ist, dass man die Conversion Ziele auch sprechend bezeichnet, damit jeder weiß, was damit gemeint ist (Conversion 1 =Abschluss, Conversion 2 = In Warenkorb gelegt, etc.) und sie bevor der Test startet auch überprüft.

8. Auswahl Testing Tool und Setup

Wer erfolgreich alle Punkte durchlaufen hat, kann sich nun an die Auswahl des Testing Tools machen. Eine schöne Übersicht findet man auf → whichmvt - auch wenn es der Name nicht vermuten lässt, aber A/B Testingtools sind ebenfalls enthalten.

Nach der Auswahl eines Testingtools geht es nun an das Setup. Wer die vorherigen Punkte bereits abgehakt hat, wird merken, dass die unterschiedlichen Tools mehr oder weniger genau diese Informationen abfragen.

Wer vor dem Test noch auf Nummer sicher gehen will, führt zunächst einen A/A Test durch, um herauszufinden, ob das Tracking wirklich funktioniert, denn die neue Variante A sollte beim A/A Testing nicht besser konvertieren als die ursprüngliche Variante A .

Viel Erfolg beim A/B – Testing!

Related Posts

1. Checkliste Splittest
2. A/B Test für Produktdetailseite // Preis + Button nebeneinander
3. Shop Optimierung durch A/B Test der Sortierfunktion

Auf der Conversion Konferenz in Hamburg habe ich mit unserem Kunden Margarete Steiff (Tom Streefkerk, Leiter E-Commerce) einen Vortrag über “Grenzenlose Möglichkeiten – Split und Multivariate Tests” gehalten und Einblicke in die Welt der Conversion Optimierung gegeben.

Dabei ist unter anderem eine Case Study herausgekommen, in der man nachlesen kann, wie sich die Conversion Rate (Kaufabschlussrrate) im Warenkorb verhalten hat, wenn man den Gastzugang angeboten hat oder eben nicht.

Außerdem ist in dieser Case Study noch eine Landingpage vorgestellt worden, bei der durch Optimierung der Umsatz um ca. 40% gesteigert werden konnte.

Die Conversion Case Study gibt es zum kostenlosen Download im explido Blog.

→ Conversion Case Study

Related Posts

1. Landing Page Case Study // Uplift +177%
2. Eyetracking-Studie: Was nehmen User auf Facebook Fanpages wahr
3. Conversion Case Study – The Olympic Store

Heute mal ein kurzer Blogpost, dafür komme ich schnell auf den Punkt.

Die Bezeichnung von Suchfunktionen kann mitunter einen gehörigen Einfluss auf die Nutzung der Suche selbst nehmen. Dabei fängt die Suche schon vor der Suche an! Hä? Ja genau vor der Suche!

Hier ein paar Beispiele, wie Suchfunktionen in Shops aussehen können:

Alle Suchfunktionen gleich?

Nein – Das Label für die Suche steht entweder

• a) über dem Feld
• b) Vor dem Feld
• c) im Feld
• d) auf dem Call-To-Action (Button)

Ich möchte mich auf den Fall c) fokussieren, bei dem das Label “Suche” im Feld steht. Teilweise gibt es auch Varianten, bei denen das Label um eine Eingabe-Aufforderung erweitert wird.

Zum Problem

Für den Fall, dass das Label im Feld steht, kann es zu Verwirrungen beim Nutzer kommen.

“Muss ich auf den Button klicken, damit ich zur Suche komme”?

Dass dies in der Realitität passiert, zeigt folgende Auswertung für die letzte Suchfunktion:

Die Auswertung in Google Analytic beweist, dass die Nutzer direkt auf die Lupe klicken, um zur Suche zu kommen, denn das häufigste Suchwort lautet…. “PRODUKTSUCHE” (siehe Screenshot).

Das Problem bei fehlerhaften Suchbegriffen ist, dass häufig auch keine adäquate 0-Treffer Seite vorhanden ist. Somit kommt der Nutzer direkt auf eine leere Seite mit hässlicher Warnmeldung, obwohl der Nutzer doch nur zur Suche wollte!

Die Konsequenz

Das Label “PRODUKTSUCHE” wurde anschließend ÜBER das Eingabe-Feld gesetzt und das Eingabefeld leer gelassen. Die Suchanfragen für “PRODUKTSUCHE” gingen auf 0 zurück!

Fazit

Usability-Hürden lauern auch heute noch überall. Dieses kleine Beispiel zeigt, dass der Teufel im Detail liegt. Der Einfluss auf die Conversion Rate ist natürlich marginal, allerdings fließt die Benutzerfreundlichkeit auch unterbewusst in den Gesamt-Eindruck eines Online Shops mit ein und daher sollten solche vermeidbaren Fehler auch tatsächlich vermieden werden

Related Posts

1. Landing Page Design – 7 Sünden, die man vermeiden kann
2. Usability Checkliste – usereffect.com
3. Conversion Killer – Online Formulare

Testing führt uns den Uplift in harten Zahlen vor Augen, auf zwei Komma-Stellen genau – Lecker! Testen ist Conversion Optimierern in Fleisch und Blut übergangen und macht uns süchtig! Süchtig nach Erfolg. Süchtig nach noch mehr fetten Uplifts!

Doch was passiert, wenn die gewünschten Ergebnisse ausbleiben? Was passiert, wenn der Nachher-Balken kleiner ist, als der vorher Balken im Diagramm? Wie lange sollte man warten, bis man endlich verstanden hat, dass das gewünschte Ergebnis nicht eintritt? Was kann man mit “verkorksten” Test-Ergebnissen anfangen und wie verkaufe ich das meinem Chef?

Über das Scheitern beim Website Testing >> Viel Spaß bei der Lektüre!

1. Conversion Optimierer scheitern nicht!

Conversion Optimierer sind harte und erfolgreiche Kerle (und Frauen!). Sie steigern jeden Tag den Erfolg von vielen Unternehmen. Wenn man die zahlreichen Case Studies sieht, geht man ehrfürchtig in die Knie. Ein wahnsinniger Uplift nach dem anderen wird veröffentlicht, und still und leise fragt man fragt sich: “Scheitern die denn nie?”

Hier die unverblümte Wahrheit:

Conversion Optimierer scheitern auch, 

ABER

gute Conversion Optimierer geben das zu

… UND

gehen den Gründen für das Scheitern sofort nach! 

Bildquelle: Gabriel Beck 2011

2. Tests können nicht scheitern!

Vom “Scheitern” zu sprechen, ist rein methodisch gesehen falsch. Wer richtig testet, stellt vor dem Testing Hypothesen auf. Die Forschungshypothese kann dabei entweder “bestätigt”, oder “abgelehnt” werden. Dies geschieht bei einem zuvor bestimmten Signifikanz-Niveau bzw. Fehlerwahrscheinlichkeit. Nachfolgend ein idealtypischer Verlauf eines Test (Nach kurzer Zeit liegt der Testsieger kumulativ über dem Verlierer – hier in Test & Target).

Idealtypischer Verlauf beim A/B Testing

3. Es gibt Tests mit Ergebnissen und es gibt Tests mit Erkenntnissen!

Werden Hypothesen mittels Testing bestätigt, so erhält man Ergebnisse. Man freut sich über einen Uplift, der in Prozent (relativ) den Testsieger kürt und kann darüber hinaus die Fehlerwahrscheinlichkeit für dieses Ergebnis ablesen.

Und dann gibt es Tests mit Erkenntnissen! Dies tritt jedes Mal dann ein, wenn die Hypothese nicht bestätigt werden konnte. In diesem Fall kann man sich als Conversion Optimierer hinstellen uns sagen: Ich lag nicht falsch! Meine Aussage konnte nur nicht bestätigt werden

Ok, wir sind ehrlich: Das ist der unangenehme Anruf beim Chef oder Kunden, den man gerne lange hinauszögert  ;-)

Aber das ist der richtige Zeitpunkt, dem “Warum” für dieses Ergebnis nachzugehen!

4. Warum ist Scheitern auch gut?

Häufig werden Conversion Optimierer vor dem Test gefragt: “Was schätzen Sie, wie viel Uplift bringt uns der Test?”. Auf die Frage kann man nicht einmal mit dem Berater-Spruch “Kommt darauf an” antworten. Diese Frage kann schlichtweg nicht beantwortet werden! Der Effekt einer Optimierung kann erst beziffert werden, wenn der Test tatsächlich durchgeführt wurde. Man kann nicht einmal garantieren, dass die Optimierung tatsächlich mehr bringt! (Gute Optimierer können das aufgrund ihrer Erfahrung minimieren, aber nicht ausschließen).

Fakt ist, dass viele (Kunden und Chefs) Angst vorm Testing haben, weil sie scheitern KÖNNTEN! Gewiefte Controller tippen nach einem Test mit negativer Steigerungsrate hektisch Zahlen in den Taschenrechner ein und beziffern genau, wie viel der Test kaputt gemacht und damit gekostet hat! All’ diesen Controllern sei gesagt: Tippt bitte auch bei erfolgreichen Tests ebenso fleißig die Daten in den Taschenrechner ein! Tests können nun mal dazu führen, dass die Hypothese nicht bestätigt wurde. Das heißt aber noch nicht, dass man nicht seine Lehren daraus zieht, in sich geht und einen neuen Wurf wagt!

Und genau hier liegt die Chance in gescheiterten Tests: Man lernt aus ihnen und schlägt neue Wege ein! Man versteht die Besucher einer Website besser und weiß, worauf sie positiv und negativ reagieren. Sensible Test-Elemente zu finden, macht uns beim nächsten Test erst recht erfolgreich!

Das ist wie beim Boxen: Gerade aus den verlorenen Kämpfen lernt man ganz besonders und versucht, die Fehler zu vermeiden, um nicht noch einmal so eine Schlappe einfahren zu müssen!

Daher sage ich laut:

Habt keine Angst vorm Scheitern – Lernt daraus!

5. Wie sehen “verkorkste” Tests aus?

Beispiel 1 – Annähernde Conversion Rate Kurven

Conversion Rates, die kumulativ aufeinander zulaufen

Problem: Die kumulativen Conversion Rates nähern sich nach kurzer Zeit einander an!

Erklärung: Tests “brauchen” ein paar Tage, bevor zu verlässlichen Ergebnissen führen. Das hat auch damit zu tun, das die Entscheidung für Produkte oder Dienstleistungen eine bestimmte Zeit brauchen. In den ersten Tagen kommen daher nur neue Besucher auf die Test-Varianten. Daher ist es wichtig, sich die Zeit bis zum Kauf, oder zum Download etc. vorher anzuschauen. In diesem Fall hat die getestete Variante die Conversion Rate nicht spürbar verbessert. Das Testelement hat in dieser Ausprägung keinen Effekt auf die Conversion Rate.

Die darunter abgebildete Conversion Rate zeigt nominal, dass sich die Varianten nicht groß unterscheiden.

Lösung: Das Testelement muss sich stärker von der ursprünglichen Variante abheben. Wenn Layouts getestet wurden, dann war die Variante B nicht drastisch genug geändert!

Beispiel 2 – Zu viele getestete Varianten

4 Varianten in einem Test

3 Varianten in einem Test

Ergebnis für A/B/C/D – Test

Problem: Man testet mehr als 2 Varianten und sieht keinen großen Unterschied zwischen den Varianten.

Erklärung: Der Traffic, bzw. die Conversions verteilen sich auf 4 Varianten gleichzeitig. Hier wurde zu viel des guten verlangt. Bei 4 Varianten benötigt man schon etwas mehr Traffic, bzw. Conversions. Die Daumenregel lautet: Ca. 10 Aktionen pro Tag und Variante! Also 40 Aktionen, wenn man den Traffic auf 4 Varianten verteilt.

Lösung: Man kann den Test in mehrere A/B Tests zerlegen, um so schneller zu tatsächlich signifikanten Ergebnissen zu kommen.

Beispiel 3 – Keine Signifikanz, aber eindeutiger Verlauf

Problem: Ein Test ist selbst nach 2 Monaten und vielen Conversions noch nicht signifikant.

Erklärung: Die Steigerungsrate hat noch nicht ausgereicht, um den Zufallsfehler gänzlich ausschließen zu können.

Lösung: Ein Blick in den Graphen eines Testverlaufs kann zusätzlich Aufschluss darüber geben, warum hier das Quentchen Signifikanz noch fehlt.

Der Verlauf der Conversion Rate zeigt im Screenshot unten, dass die Conversion Rate zu Beginn des Tests besser war. Erklärung können saisonale Effekte sein, die sich auf die Conversion Rate auswirken. Da mit abnehmender Conversion Rate auch die Conversion Actions weniger werden, dauert der Test einfach länger, bis er genügend Daten gesammelt hat. Aufgrund des konsistenten Verlaufs am Schluss wurde entschieden, den Test auch bei ca. 86% Signifikanz (siehe Screenshot oben) erfolgreich zu beenden.

Graph für einen Testverlauf

Beispiel 4 – Keine signifikanten Ergebnisse über alle Besuchergruppen hinweg. 

Viele Tests scheitern daran, dass sie nicht segmentiert werden. Sowohl bei der Auslieferung, wie auch bei der Auswertung werden alle Besucher in einen Topf geschmissen und das führt häufig zu einem unklaren Ergebnis. Daher ist es wichtig, dass ein Testing Tool Segmentierung unterstützt. Beim Visual Website Optimizer können zum Beispiel die Segmente für die Auslieferung eingestellt werden.

Beispiel 5 – Zu wenige Conversions zum Testen 

Es gibt Website-Betreiber, die würden gerne testen, glauben aber, dass sie zu wenig Conversions haben, um einen Test durchführen zu können. Tests, in denen zu wenig Conversions resultieren, würden sehr lange dauern. Hier kann man empfehlen, alternative Conversion Ziele zu wählen. So kann das Engagement im Visual Website Optimizer (das Gegenteil von der Bounce Rate) als Hilfs-Conversion herangezogen werden.

Fazit

Tests können nicht scheitern, allein die Bestätigung für die Hypothese ist das Ziel eines Tests. Wenn die Bestätigung ausbleibt, sollte man sich einen Kopf darüber machen, woran das liegen kann. Zum einen kann es systematische und technische Gründe dafür geben, auf der anderen Seite sollte das Testkonzept genauer überdacht werden. Aus Fehlern lernt man und genau das ist der richtige Weg, um beim nächsten Test erfolgreich zu sein!

PS:

Wer den Artikel lieber mal in Ruhe ausgedruckt lesen mag, kann ihn auch als PDF runterladen >> Note: There is a file embedded within this post, please visit this post to download the file.

Related Posts

1. Über den Conversion Uplift und das böse Erwachen
2. Der Weg ist das Ziel – Testing von Klickpfaden
3. Checkliste Splittest

Hier ein paar Screenshots und weiterführende Informationen.

Die Visualisierung des Benutzerstroms war eine der Funktionalitäten, die in Google Analytics bisher nur rudimentär verfügbar war.

So konnte man sich vorhergehende und nachfolgende Seiten ausgehend von einer bestimmten Seite anzeigen lassen.  Komplexe Ströme konnten bisher leider nicht dargestellt werden.

Google Analytics  – Visitor Flow / Goal Flow

Das Ziel von Visitor Flow ist es, den Besucher-Strom auf eine intuitive Art und Weise darzustellen, um so die Zusammenhänge und “Bewegungen” der Website-Besucher besser verstehen zu können. Diese Auswertungs-Möglichkeit soll diese Woche nach und nach in alle Accounts freigeschalten werden.

Die Neuerungen heißen

• Visitor Flow (wie navigieren die Nutzer durch die Seite?)
• Goal Flow (Wie kommen die Nutzer zu einem bestimmten Ziel (Sale, Lead)?)

 Hier ein paar Einblicke

(Bitte klicken, um zu vergrößern)

(Bitte klicken, um zu vergrößern)

Video zu Google Analytics – Visitor Flow

Click here to view the video on YouTube.

Was kann man aus Conversion Optimierungs -  Sicht mitnehmen?

Die Darstellung des Benutzer-Flusses ist insofern interessant, um die Trampelpfade der Nutzer verstehen zu können. Wie bewegen sich Nutzer von meiner Startseite weg durch den Shop/ die Website? An welchen Stellen verliere ich sie wieder? Wie unterscheidet sich das Verhalten von Wiederkehrenden vs. Neuen Besuchern?

Die Benutzerströme können darüber hinaus auch segmentiert werden, was für die Analyse bestimmter Nutzergruppen sehr interessant ist. So kann man zum Beispiel sämtliche Nutzer-Ströme anzeigen lassen, die eine Bestellbestätigungsseite nie gesehen haben (Kaufabbrüche). Oder Benutzer anschauen, die über einen bestimmten Kanal (Facebook, Google organisch, etc.) gekommen sind.

Fazit zu Google Analytics -  Visitor Flow

Der neue Report wirkt zum einen optisch sehr gut aufbereitet und bietet einen Mehrwert bei der quantitativen Conversion Analyse von Websites. Man kann aufgrund der Visualisierung gut verstehen, wie sich Nutzer durch die Seite hinweg bewegen und was extrem sinnvoll ist: Eine Segmentierung der Ströme ermöglicht den Fokus auf ganz bestimmte Benutzer-Gruppen.

Der Report gefällt auf Anhieb – ein erster Erfahrungsbericht mit Conversion Tipps folgt auf jeden fall noch.

Weiterführende Informationen und Bildquellen im Google Blog:

http://analytics.blogspot.com/2011/10/introducing-flow-visualization.html

Related Posts

1. Neue Google Analytics Funktionen
2. Neue Google Analytics Version kommt!
3. Conversion Goals in Google Analytics einrichten und verstehen

Nur noch knapp 1 Monat bis zur Conversion Konferenz in Hamburg am 07. und 08.11.2011! Der Countdown läuft! Das Programm ist gespickt mit interessanten Vorträgen und auch ich freue mich, wieder sprechen zu dürfen. Zusammen mit Tom Streefkerk, Leitung E-Commerce bei Margarete Steiff werde ich in Hamburg etwas zum Thema “Grenzenlose Möglichkeiten – Split und Multivariate Tests” erzählen.

Im letzen Blogpost habe ich bereits auf den 15% Rabatt Code hingewiesen, mit dem Ihr kräftig sparen könnt, ABER dieses Mal wird noch richtig einer oben drauf gelegt:

Im conversiondoktor-Blog wird noch 1 Gratis-Ticket zur Conversion Konferenz

im Wert 1.195€ (Vor Ort Preis) verlost!

 Hier die Infos, wie man an das begehrte Ticket rankommt!

UPDATE (03.11.2011)

Der Gewinner steht fest und hat im Artikel noch einen Gruß hinterlassen!

Was muss man tun, um an das 2-Tages-Ticket zu kommen?

Wer das Ticket gewinnen und mich in Hamburg am 07. und 08.11.2011 auf der Conversion Konferenz treffen möchte, muss folgendes tun:

+++++++++++++++++++++++++++++++++++++++++++++++++++++++

1. Möglichkeit // Diesen Blogartikel per Twitter weiterempfehlen.

Dafür einfach die nachfolgende Nachricht als Tweet bei Twitter verschicken und schon nimmt man an der Verlosung teil. Bitte genau so verwenden!

Tweet zum Versenden

RT @conversion_doc Mein Chef soll mich Conversion Gott nennen! Ich will das Conversion Konferenz Ticket für lau! http://bitly.com/CC-HH2011

+++++++++++++++++++++++++++++++++++++++++++++++++++++++

2. Möglichkeit // Facebook Fan werden und kommentieren!

Auf meiner Facebook-Fanpage Fan werden (wenn man es nicht eh schon ist ) und anschließend ein Kommentar abgeben, warum ausgerechnet DU das Ticket haben möchtest.

>> conversiondoktor-Fanpage

+++++++++++++++++++++++++++++++++++++++++++++++++++++++

Wann ist Schluss mit der Verlosung?

Unter allen Tweets und Facebook Kommentaren, die bis zum 28.10.2011 um 12:00 Uhr eingehen, wird ein Gewinner per Zufall ermittelt.

DAS TICKET WIRD NICHT ÜBERTRAGBAR SEIN!

(bitte nur mitmachen, wenn Ihr wirklich könnt!)

Ich drücke alle Teilnehmern die Daumen und freue mich, diese Person in Hamburg zu treffen.

Wer sich bis dahin die Zeit vertreiben möchte, kann gerne in der Download Rubrik ein paar PDFs ziehen >> Downloads

UPDATE (03.11.2011)

Gewonnen hat Dietmar Schulte.

Herzlichen Glückwunsch!

Dietmar sagt dazu:

“Vielen Dank an den Conversion Doktor – Gabriel Beck für diesen super Gewinn!

Ich freue mich riesig auf die 2. Conversion Conference Hamburg 2011 und spannende Vorträge!”

Ich sage dazu: Ich freue mich auf Hamburg, Dietmar wir sehen uns!

Related Posts

1. 15% Rabatt bei der Conversion Konferenz
2. Conversion Konferenz 2011 in Hamburg // 15% Rabatt Code
3. Conversion Konferenz 2010 in Hamburg