Das Buzzword Data Driven ist in aller Munde. Dabei werden immer noch eine Vielzahl an Entscheidungen, wenn es um die Optimierung einer Seite oder eines Webshops geht, aus dem Bauch heraus getroffen. Mal drängt der Vorgesetzte zur Eile und möchte schnelle Ergebnisse sehen, mal ist es die eigene Überzeugung, dass die neue Variante auf jeden Fall besser bei den Nutzern ankommen wird als die jetzige. Am Ende kann niemand mehr sagen, welche Änderung nun tatsächlich zum Ergebnis geführt hat – oder auch nicht. Nur wer kontinuierlich die Maßnahmen auf seiner Website testet, kann valide Aussagen zu ihrem Effekt treffen.
Wir zeigen euch mit unserer Checkliste, wie ihr euer Testing richtig aufsetzt und welche Fallstricke dabei beachtet werden sollten.
1. Wann macht es Sinn, eine Maßnahme zu testen?
Kleinere Veränderungen auf der Website müssen nicht unbedingt gleich mit einem Test begleitet werden. Elemente, mit denen der User interagiert, bergen jedoch Verbesserungspotenzial, sodass es sich oftmals lohnt, verschiedene Varianten gegeneinander zu testen. Wichtig ist jedoch, dass eine ausreichende Menge an Besuchern in die Zielgruppe fallen, da ansonsten am Ende möglicherweise keine aussagekräftigen Ergebnisse gewonnen werden.
2. Welche Elemente kann ich mit den Tests untersuchen?
Grundsätzlich können fast alle Bestandteile einer Website getestet werden. Darunter beispielsweise:
- Navigation: Darstellung, Reihenfolge, Design
- Landingpages und Produktdetailseiten: Darstellung und Reihenfolge der Content Elemente, Anzeige von Empfehlungen
- Kategorieseiten und Suchergebnisseiten: Darstellung der Ergebnisse, zusätzliche visuelle Elemente, Call to Action Buttons, Filtermöglichkeiten
- Warenkorb: Cross- und Upsell-Maßnahmen
- Check-out Prozess: Payment und Quick Check-out Optionen, Dankesseite
- Formulare: Anzahl der Formularfelder, Pflichtfelder, Layout
Die Möglichkeiten und Empfehlungen, was getestet werden kann und sollte, unterscheiden sich dabei je nach Branche. Dennoch gilt: Jede Website birgt Testing- und Optimierungspotenzial.
3. Welche Arten von Tests gibt es?
Die wohl geläufigste Testart ist der A/B-Test. Hierbei werden zwei verschiedene Varianten gegeneinander getestet. Eine Variante ist die Nullgruppe, die keine Veränderung ausgespielt bekommt, die zweite Variante sieht jeweils mindestens ein abgeändertes Element bis hin zu einer komplett anderen Version der Seite.
Bei Multivariantentests handelt es sich um die Erweiterung von A/B-Tests, daher werden sie auch oftmals A/B/n-Tests genannt. „n“ steht dabei für die unbegrenzte Anzahl von möglichen Varianten, die gegeneinander getestet werden können. Dabei muss jedoch beachtet werden, dass mit zunehmender Anzahl an Varianten auch die Zielgruppengröße zunehmen muss, um valide Ergebnisse zu erhalten. Um schnelle Aussagen treffen zu können, macht es daher Sinn, eher weniger Varianten gegeneinander zu testen.
Die dritte Art von Tests sind dynamisch selbst optimierende Tests, auch Multi-Armed Bandit Tests genannt. Das Multi-Armed Bandit Testing räumt eine große Schwäche von A/B- und Multivariantentests aus. Diese verteilen die Nutzer fix auf verschiedene Varianten und am Ende des Tests steht im besten Fall ein klarer Sieger, der dann an 100 % der Nutzer ausgespielt werden kann. Der Nachteil: Bis zu diesem Punkt ist schon viel Traffic auf die Verlierer-Variante(n) geflossen. Beim Multi-Armed Bandit Test wird auf maschinelles Lernen und KI zurückgegriffen und der Test fortlaufend dynamisch optimiert. So wird der Traffic dynamisch auf die am besten performenden Varianten geleitet. Der Test lernt mit der Zeit, welche User auf welche Optionen am besten reagieren und kann diese dank Segmentierung personalisiert an die jeweiligen Nutzer ausspielen. Auch hier ist Voraussetzung, dass genügend Traffic auf der Seite ist.
4. Was möchte ich testen?
Bevor ein Test aufgesetzt wird, muss klar definiert werden, was getestet werden soll. Einen Test einfach aufzusetzen, ohne sich vorab über die Zielsetzung Gedanken gemacht zu haben, hat im schlimmsten Fall zur Folge, dass die gemessenen Ergebnisse keine Aussagen zur eigentlichen Fragestellung zulassen. Daher sollte stets mit Hypothesen gearbeitet werden. Die Nullhypothese geht dabei immer davon aus, dass eine geplante Veränderung keinen Einfluss auf die untersuchten KPIs hat. Die Alternativhypothese geht demgegenüber davon aus, dass die Veränderung sehr wohl einen Impact auf die Performance hat. Diese Hypothese gilt es im Rahmen des Tests zu bestätigen oder zu widerlegen.
5. Welche KPIs kann ich untersuchen?
Es gibt unzählige Möglichkeiten zum Testing, daher müssen neben der Hypothese auch die primären KPIs definiert werden, die für die Bewertung des Testergebnisses ausschlaggebend sein sollen. Beispiele hierfür sind die Click-Through-Rate, die Conversion Rate oder der Conversion Value. Die KPIs unterscheiden sich natürlich je nach Branche und Art der Seite.
6. Welche Indikatoren müssen beachtet werden?
Um beurteilen zu können, ob eine Hypothese letzten Endes verworfen oder angenommen werden kann, müssen die Signifikanz und die Konfidenz des Tests betrachtet werden.
Die Konfidenz ist die Wahrscheinlichkeit, zu der eine bestimmte Aussage zutreffen wird. Die Signifikanz wiederum gibt an, ab wann der gemessene Zusammenhang zwischen den Variablen nicht zufällig aufgetreten ist und das Ergebnis auf die Gesamtheit übertragen werden kann. Aber keine Sorge, ihr müsst euch nicht nochmal in den Statistik-Grundkurs einschreiben: trbo hat bereits einen Signifikanzrechner an Bord, sodass ihr direkt im Test die Ergebnisse ablesen könnt.
7. Wie lange sollte ein Test laufen?
Die Dauer, wie lange ein Test laufen sollte, ist von Website zu Website unterschiedlich. Es hängt stark vom Traffic ab, wie schnell ein Test signifikant wird. Wichtig ist auch, dass Saisonalitäten oder die Kaufkraft der Nutzer zu schwankenden Kauf- und Traffic-Zahlen führen und somit die Ergebnisse verfälschen können. Daher sollte der Test möglichst in kaufneutrale Monate ohne Feiertage legen – ausgenommen bei Tests, in denen Feiertag-spezifische Elemente getestet werden sollen.
8. Kann ich mehrere Tests gleichzeitig laufen lassen?
Wenn die Seiten klar voneinander getrennt sind, spricht nichts dagegen, mehrere Tests parallel laufen zu lassen. Andernfalls können sich die Tests gegenseitig beeinflussen und die Ergebnisse sind verfälscht. Auch sollte der User Flow immer im Hinterkopf behalten werden, sodass User im Verlauf ihrer Journey nicht an mehreren Stellen mit Tests in Berührung kommen.
9. Welche Zielgruppe sollte ich für meine Tests wählen?
Die Segmentierung der User hat bei Tests eine hohe Bedeutung. Nicht jeder Test eignet sich für alle Nutzer in gleichem Maße. Im Extremfall können bestimmte Nutzer das Testergebnis sogar massiv verfälschen, beispielsweise wenn bereits angemeldete User beim Test einer Newsletter-Anmeldemaske inkludiert werden.
Der größte Fehler ist, gar nicht zu testen
Im ersten Moment mag sich die Checkliste einschüchternd und komplex anhören. Der größte Fehler, der gemacht wird, ist jedoch gar nicht zu testen. Um belastbare Aussagen zur Performance und zu Optimierungspotenzialen des Shops oder der Website treffen zu können, kommt man um das Testing nicht herum.
In unserem Whitepaper A/B- und Multivarianten-Tests haben wir für euch weiterführende Informationen zu den oben genannten Punkten zusammengestellt und geben euch anhand von Beispielen Impulse, welche Tests einfach umgesetzt werden können.
Neben Testing bietet trbo euch viele weitere Maßnahmen zur Onsite-Personalisierung und Optimierung. Wir haben euer Interesse geweckt? Dann vereinbart hier eine kostenlose, unverbindliche Demo.