Um die Performance einer Kampagne auf der Website zu überprüfen, sind A/B- und Multivariantentests wichtige Werkzeuge. Mit den Ergebnissen können Kampagnen weiter verbessert und zusätzliche Maßnahmen zur Optimierung und Personalisierung der User Experience angegangen werden. Doch beim Einsatz von A/B-Testing lauern auch ein paar Stolperfallen. Die häufigsten fünf Fehler beim Testen möchten wir Euch im heutigen Blogbeitrag vorstellen.
Fehler 1: Ohne Plan ins Testing starten
Ein häufiger Fehler: Tests “einfach so” aufsetzen, damit getestet wird. Das hat den Beigeschmack von Testen um des Testens willen. Stattdessen solltet ihr Euch zuallererst einen Plan machen.
Folgende Fragen helfen beim Aufsetzen von A/B- und Mutivariantentests: Welche Zielgruppe soll mit dem Test erreicht werden? Welche Teile des Shops oder auch welcher Step in der Customer Journey soll verbessert werden? Welche KPI soll optimiert werden (z.B. Bounce Rate oder Conversion Rate)? Wo vermute ich liegt der bisherige Fehler und was muss ich ändern? All diese Fragen laufen dann in die Formulierung einer sinnvollen Hypothese ein. Sie ist die Basis eines erfolgreichen Test-Setups.
Ihr möchtet wissen, wie eine Beispiel-Hypothese aussehen kann?
Dann ladet Euch unser kostenloses Whitepaper zu A/B- und Multivariantentests herunter!
Fehler 2: Wichtige Kennzahlen wie Signifikanz und Konfidenz nicht beachten
Ein weiterer Fehler beim Testing: Konfidenz und Signifikanz nicht kennen. Denn beide sind wichtige Kennzahlen, um A/B- und Multivariantentests richtig bewerten zu können.
Unter Konfidenz versteht man die Wahrscheinlichkeit, zu der eine bestimmte Aussage zutreffen wird. In der Praxis wird meist ein Konfidenzlevel von 95 Prozent empfohlen.
Die Signifikanz hingegen gibt an, ab wann der Zusammenhang zwischen den beiden Varianten nicht mehr nur zufällig auftritt und das Ergebnis somit auf die Gesamtheit übertragen werden kann. Das klingt kompliziert und ist es zu Anfang auch. Bei trbo ist der Signifikanzrechner bereits integriert: So könnt ihr sicher sein, dass Euer Test bereit zur statistisch validen Auswertung ist.
Signifikanz und Konfidenz erklären wir ausführlich in unserem Whitepaper zu A/B- und Multivariantentests!
Fehler 3: Zur falschen Zeit und zu kurz testen
Ein weiterer häufiger Testing-Fehler: Schlechtes Timing. Denn wählt man den falschen Zeitraum und eine falsche Dauer, kann der Test schnell verfälscht werden.
Der richtige Zeitpunkt für einen Test ist wichtig, da besonders Saisonalitäten wie Weihnachten zu schwankendem Traffic und Käufen führen können. Daher ist es sinnvoll, Tests eher in neutralen Monaten ohne besondere Feiertage oder saisonale Peaks durchzuführen. Ansonsten können die Tests möglicherweise falsch positive Ergebnisse liefern.
Und auch die Dauer eines A/B- oder Multivariantentests ist entscheidend. Je nach Shop kann die ideale Dauer abweichen, da es stark vom Traffic abhängt, wie schnell ein Test signifikant ist. Für eine erste Einschätzung helfen Testdauer-Rechner. Bei hohem Traffic können Testergebnisse sehr schnell signifikant sein. Tests sollten aber niemals zu früh beendet werden. Sonst läuft man Gefahr, die völlig falschen Schlüsse zu ziehen, da sich die Zahlen im längeren Verlauf des Tests womöglich noch einmal verändert hätten.
Fehler 4: Mehrere Fliegen mit einer Klappe schlagen
A/B-Tests sind für viele Marketer verlockend, da man schnell herausfinden kann, ob eine Maßnahme funktioniert. Am besten also gleich alles auf einmal testen? Nein, denn zu viele Tests gleichzeitig könnten sich gegenseitig beeinflussen und das Ergebnis verfälschen. Befinden sich die Maßnahmen jedoch auf klar getrennten Seiten, zum Beispiel der Startseite und einer Kategorieseite, können A/B-Tests auch parallel laufen. Zusätzlich sollte auch der User-Flow einbezogen werden.
Fehler 5: Gar nicht testen und nach Bauchgefühl optimieren
“Wenn man so viele Dinge beachten muss, dann ist es besser gar nicht zu testen. Schließlich weiß ich am besten, was meinen Nutzern gefällt.” Auch das ist ein großer Fehler, wenn nicht der größte. Denn das Bauchgefühl kann auch trügerisch sein. Der Shopbetreiber kennt seinen Webshop zwar so gut wie kein anderer, aber unserer Erfahrung nach bringen Tests immer wieder überraschende Ergebnisse. Und wer wirklich wissen will, welche Maßnahmen sich lohnen, kommt um A/B- und Multivariantentests nicht herum.
Mit einem ordentlichen Plan und der Hilfe des richtigen Tools ist Testing kein Hexenwerk mehr. Mit unserem Whitepaper seid ihr bestens für einen Start ins Testing gerüstet, wir zeigen Euch, wie ihr häufige Fehler vermeidet, ordentliche Tests aufsetzt und haben noch jede Menge Inspiration anhand verschiedener Tests unserer Kunden gesammelt.
Worauf wartet ihr? Jetzt Whitepaper herunterladen und erfolgreich ins Testing starten