Heutzutage erleichtern Tools wie Adobe Target dem motivierten Marketeer die Arbeit durch statistische Methoden enorm: sie ermöglichen sie es, mittels sogenannten A/B- oder multivariaten Tests die Website so zu optimieren, dass möglichst viel Umsatz oder Leads generiert werden. Tests sind dank der einfach zu bedienenden Tools schnell aufgesetzt und ausgewertet. Dennoch gibt es einiges zu beachten, wie dieser Beitrag zeigt. 

Optimierungstests einer Website sind aufwändig. Sie benötigen aufgrund der Variantenvielfalt mindestens das Doppelte an Inhalten, Grafiken und Designs, erzeugen Arbeit bei den Webmastern (die Testing-Software muss eingebaut werden, allenfalls müssen weitere Anpassungen an der Website vorgenommen werden), und stellen die Marketing-Fachleute vor neue Herausforderungen, da sie die Tests entwerfen und deren Ergebnisse auswerten und interpretieren müssen.

Hmmm, wollen wir wirklich Äpfel mit Birnen vergleichen?

Deshalb ist es nicht verwunderlich, dass Marketeers sich auf möglichst aussagekräftige Tests konzentrieren sollten: Das typische Beispiel „Rot oder blau?“ ist zwar nett und einfach verständlich, aber die Aussagekraft begrenzt, und somit die Auswirkung auf den Erfolg der Website minimal. Deshalb im Folgenden ein paar Tipps, wie Sie Testing optimal nutzen können.

1. Strategisch vorgehen

Da in den meisten Fällen Zeit und Mittel begrenzt sind, lohnt sich eine Konzentration auf das Wesentliche. Will heissen, die Optimierungen müssen auf die Strategie des Unternehmens im Allgemeinen und die Marketing-Strategie im Speziellen abgestimmt sein. Insbesondere muss die Frage nach dem Zweck der Website (Verkaufsabschlüsse oder Leads generieren, Customer Self Service, etc.) sowie die Erfolgsmetriken, die den Erfüllungsgrad dieses Zwecks messen, im Vordergrund stehen. Die Marketingfachperson sollte sich immer zuerst fragen, ob ein angedachter Test einen Einfluss auf eine der wesentichen Erfolgsmetriken hat und dieser auch gemessen werden kann, ansonsten sollte auf den Test verzichtet werden.

Ein gut designter A/B-Test verifiziert eine Hypothese, welche die Antwort auf eine drängende Frage liefert. 

Dies setzt eine solide Datenbasis mittels digitaler Analyse voraus. Nicht nur Pageviews und Visits, sondern vor allem die Erfolgsmetriken müssen gemessen werden können, und die Daten müssen eine gewisse Qualität und Glaubwürdigkeit besitzen. Insbesondere muss ersichtlich sein, welche Faktoren Einfluss auf Umsatz oder die Anzahl generierter Leads haben.

Deshalb tendieren wir eher zu einer integrierten Marketing Suite eines Herstellers – beispielsweise die Adobe Experience Cloud mit Adobe Target und Adobe Analytics – als zu einer „Best-of-Breed“-Lösung, bei der die Daten nur schwer zusammengeführt werden können. Denn nur mit einer sinnvollen Datenbasis lassen sich aussagekräftige Optimierungen vornehmen.

2. Je grösser die Änderung, desto grösser der Einfluss

Das oben erwähnte Beispiel „Rot oder blau?“ hat einen gewissen Charme, ist aber nicht allzu relevant, da der Einfluss – mit Ausnahme von Neos Entscheid in der Matrix – einen relativ kleinen Einfluss auf den Erfolg hat, denn je grösser die Änderung an der Website oder des E-Shops, desto grösser sind die Auswirkungen.

Ändert man etwa das komplette Layout der Startseite eines E-Shops, um nur eine einzige Sonderaktion zu bewerben, hat dies in der Regel einen wesentlich grösseren Einfluss auf den Umsatz als die Farbe eines Call-to-Action-Elements. Unsere Erfahrung hat gezeigt, dass folgende Änderungen (in abnehmender Reihenfolge) den grössten Einfluss besitzen:

Testen Sie in erster Linie Fragestellungen, die grossen Einfluss auf die Erfolgsfaktoren haben

• Weglassen oder Anzeigen: Der grösste Einfluss hat die Frage, ob Inhalte oder Funktionen weggelassen oder angezeigt werden sollen. Soll ein Banner für eine Sonderaktion auf der Startseite geschaltet werden? Falls ja, hat dies natürlich grossen Einfluss auf die Sonderaktion. Sollen für eine Newsletter-Anmeldung zusätzliche Angaben benötigt werden? Oder führt das Weglassen von einzelnen Feldern zu mehr Anmeldungen?
• Layout der Seite: Radikale Design-Änderungen wie die Platzierung der Call-to-Action-Elemente oder von Teasern haben einen grossen Einfluss auf die Sichtbarkeit und die Priorität der Elemente im Auge des Kunden.
• Design: Erst an dritter Stelle werden Design-Fragen relevant, obwohl diese häufiger diskutiert werden. Die Frage „Rot oder blau?“ ist weniger relevant als gedacht.
• Inhalt: Das Wording eines Call-to-Action-Elements oder eines Titels ist bis auf wenige Einzelfälle ziemlich unbedeutend.

Die obenstehende Rangliste ist als „Best Practice“ zu verstehen, und der zu testende Fall kann sich massiv davon unterscheiden – bei der Optimierung eines Bestellprozesses etwa können Details wie die Benennung eines Buttons oder gar dessen Farbe durchaus relevant sein.

3. Eindimensional ist optimal

Moderne Optimierungswerkzeuge wie Adobe Target bieten mit multivariaten Tests, automatisierten Tests und häufig auf künstlicher Intelligenz basierenden Optimierungsalgorithmen vielfältige Möglichkeiten zur mehrdimensionalen Optimierung: Es werden in einem Test an verschiedenen Stellen gleichzeitig Optimierungen durchgeführt.

Dies ist für den Optimierungsprofi sicher sehr spannend, benötigt aufgrund der Komplexität aber enormes Fachwissen, sehr viel Erfahrung und gar allenfalls künstliche Intelligenz, um brauchbare Aussagen ableiten zu können.

Deshalb raten wir, in einer ersten Phase auf multivariate Tests zu verzichten, bis das nötige Know How verfügbar ist, und die Tests auf eine Dimension zu beschränken: Das Banner auf der Startseite wird optimiert, ohne dass gleichzeitig noch das Design der Startseite, deren Inhalt und die Farbe des Call-to-Action-Knopfes ebenfalls Tests unterzogen werden.

Starten Sie einfach, so dass Sie Veränderungen in Erfolgsmetriken immer auf eine spezifische Massnahme zurückführen können, und bauen Sie die Tests mit der gewonnenen Erfahrung sukzessive aus.

4. Status Quo vs. mehrere Varianten

Ein häufiger Fehler bei Optimierungstests besteht darin, dass vergessen wird, gegen den Status Quo, also den Ist-Zustand, zu testen, und nur neue Varianten miteinander verglichen werden; allenfalls werden die Zahlen der letzten Woche, des letzten Monats oder Jahres hinzugenommen, um einen Erfolg gegenüber dem vorherigen Zustand aufzeigen zu können.

Dieses Vorgehen hat aber nur beschränkte Aussagekraft: Es können zwar die Varianten miteinander verglichen werden, ein Vergleich mit Zahlen eines anderen Zeitraums jedoch ist nicht sinnvoll, da nicht ausgeschlossen werden kann, dass andere Faktoren wie das Wetter, die Wirtschaftslage, Sonderaktionen oder das Monatsende einen Einfluss auf die Ergebnisse haben.

Mehrere Varianten beschleunigen das Testing

Testen Sie in jedem Fall immer gegen eine Kontrollgruppe, die den aktuellen Stand der Site vor der Optimierung zeigt: nur so können Sie aktuelle Verbesserungen ausweisen.

Wenn Sie einen Test aufsetzen, ist der Aufwand mit einer Variante etwa ähnlich hoch wie mit mehreren Varianten. Vergleichen Sie also nicht nur eine, sondern zwei oder maximal drei Varianten mit dem Ist-Zustand, wenn Ihre Nutzerzahlen dies zulassen. Dies ermöglicht detailliertere Aussagen und birgt höheres Optimierungspotential.

5. Statistische Relevanz

Ein Test benötigt eine genügend grosse Stichprobengrösse, um eine verlässliche Aussage treffen zu können. Dabei steigt die Anzahl der Testdurchführungen natürlich mit der Anzahl der Varianten: bei jedem Testdurchlauf wird die Wahrscheinlichkeit der Korrektheit der Resultate ein kleines bisschen besser.

Deshalb sollten Tests immer an Orten der Site durchgeführt werden, die über einen entsprechend hohen Traffic verfügen, ansonsten der Test zu lange dauert, bis signifikante Resultate vorhanden sind. Muss ein Test länger als drei oder vier Wochen laufen, um eine entsprechende Anzahl an Resultaten zu erreichen, ist er nicht mehr sinnvoll.

Je grösser die Konversionsrate, umso kleiner kann die Stichprobengrösse sein, um brauchbare Resultate zu erhalten – entsprechend benötigt eine Optimierung bei Konversionsraten im Promillebereich mehrere Zehntausend Durchläufe.

Adobe Target ist in der Lage, die Zeitdauer eines Tests abzuschätzen; ebenfalls bieten entsprechende Rechner Anhaltspunkte zur Grösse der Zielgruppe: Man gibt die erwarteten Konversionsraten sowie die gewünschte Signifikanz ein und kann dann ablesen, wie viele Tests durchgeführt werden müssen.

Bonus: Risiken berücksichtigen

Tests bergen auch gewisse Risiken: Nicht zu unterschätzen ist der Einfluss, den gewisse Tests auf das Design und die Funktionalität der Website haben können. Da Tools wie Adobe Target es ermöglichen, beliebige Objekte der Website zu verändern und gar HTML-Code einzufügen, kann es vorkommen, dass eine Variante ungewünschten Einfluss auf das Design hat, oder die Funktionalität von anderen Bereichen der Website stören kann.

Deshalb sind beim Test-Setup alle Varianten immer ausgiebig zu testen – bei Bedarf unter Miteinbezug von Frontend-Entwicklern.

Ebenfalls kann eine Variante einen extremen negativen Einfluss auf die Erfolgsmetriken haben – im schlechtesten Fall gehen Umsatz oder Leads verloren. Deshalb ist es wesentlich, dass die Tests während der Laufzeit begleitet und die provisorischen Resultate überprüft werden: Ist schon frühzeitig klar, dass eine Variante einen äusserst negativen Einfluss auf die zu messende Erfolgsmetrik hat, sollte sie aus dem Test genommen werden.

Denn sie wissen was sie tun

Die Optimierung mittels A/B-Testing beispielsweise mit Adobe Target ist ein probates Mittels, um die eigene Website oder den E-shop schrittweise zu optimieren. Dabei sollte man immer die Strategie, bzw. den Zweck der Site im Auge haben, und die Optimierungen immer auf die daraus resultierenden Erfolgsmetriken abzurichten.

Optimierung ist nie zu Ende: LEAN-Ansatz vs. meine A/B-Test-Methode

Beginnen Sie mit kleinen Schritten, testen Sie nicht zu viel auf einmal, um ein Gefühl für die Mechaniken zu erhalten, die auf Ihren Erfolg einwirken. So können Sie sich schrittweise an immer neue Optimierungsherausforderungen heranwagen, und den Erfolg langfristig sichern.

Denn Optimierung ist nie zu Ende. Wäre sonst ja auch langweilig, nicht?

Wenn Sie mehr über dieses spannende Thema wissen wollen, nehmen Sie mit mir Kontakt auf. Ueli dr Bot wird Ihre Anfrage gerne entgegennehmen und an mich weiterleiten.