A/B Tests sind eine Methode, um die Optimierung von B2B eCommerce Systemen besser zu systematisieren und faktenbasiert vorzunehmen. Vielfach haben wir in Projekten wahre „Glaubenskriege“ erlebt, ob es größer, weiter oben oder einfach in einer anderen Farbe dargestellt werden soll.
Dabei ist es fast unmöglich das Potenzial solcher Ideen im Vorfeld richtig zu beurteilen. Aus diesem Grund werden vermehrt A/B Tests eingesetzt die, anstatt von emotionalen Debatten, mit Fakten für Klarheit sorgen.
Ein Grund für die weite Verbreitung von A/B Tests ist, dass diese i.d.R nicht teuer und für die Optimierung (Optimierungspotential eines Webshops erkennen) einer Webseite oder eines eCommerce Angebotes aber sehr hilfreich ist.
Dies haben die großen Player im eCommerce schon lange erkannt und so führen zum Beispiel Amazon (Amazon als Vermarktungsplattform) und Google (Google Trends) jedes Jahr mehrere 10.000 Experimente durch, um die eigenen Plattformen zu optimieren.
Diese Unternehmen haben bereits die Erkenntnis gewonnen, dass es sich lohnt einfach alles mal auszuprobieren. Allerdings ist es hierbei wichtig nach wissenschaftlichen Methoden vorzugehen und nicht planlos ein Experiment an das nächste zu reihen.
Der folgende Beitrag soll ein besseres Verständnis von A/B Tests vermitteln und welche Strategie Sie nutzen sollten, um A/B Tests bei Ihnen zu etablieren.
Wie funktionieren A/B Tests?
Bei einem A/B Test werden zwei Szenarien gegenüber gestellt. Zum einen die Version A, dies ist häufig die aktuelle Umsetzung, und zum anderen die Version B, die die Änderungen beinhaltet.
Nach einem Zufallsprinzip bekommen Nutzer jeweils eine der Versionen angezeigt. Von der anderen wissen sie aber nichts. Für beide Versionen werden Kenngrößen berechnet, mit dem Ziel das Version A und Version B miteinander verglichen werden können.
Die Kenngrößen können dabei ganz unterschiedlich sein. Je nachdem was dem jeweiligen Betreiber am wichtigsten ist. Z.B. könnten dies Umsatzerlöse, Klickraten oder Onlinezeit sein.
Damit auch wirklich eine Aussage aus den A/B Tests gewonnen werden kann, sollten pro Tag mindestens mehrere 1000 Nutzer auf der Webseite bzw. in dem zu testenden Teilbereich der Webseite sein. Anderenfalls werden die Ergebnisse schnell verfälscht.
Sofern diese Voraussetzung aber erfüllt ist, kann ein Betreiber durch Tests und Experimente sehr effektiv das eigene Webangebot für seine Kunden optimieren.
Die dadurch notwendige Testinfrastruktur sorgt dann ebenfalls dafür, dass schnelle Änderungen und schnelle Reaktionen auf Testergebnisse zur Normalität werden. Da Schnelligkeit ein zentraler Wettbewerbsvorteil im eCommerce ist, wirken sich Tests auch auf den Erfolg meistens positiv aus.
Wirkung von Veränderungen – Was kann man erwarten?
Vielen Menschen gehen davon aus, dass je größer die Veränderung ist, desto größer ist auch der Effekt. Das stimmt so aber nicht. Aus der Erfahrung lässt sich sagen, dass es eher die Kombinationen von vielen kleinen Veränderungen sind, die sich auf den Erfolg auswirken.
Allerdings scheitern die meisten Experimente und führen dazu, dass die Version B sich nicht als Verbesserung der Version A herausstellt. Bei Google erzielen zum Beispiel nur 10-20% der Experimente positive Effekte. Das bedeutet, dass nur durch eine Menge an Veränderungen auch Effekte möglich werden.
Testen der Veränderungen – Wie funktioniert das?
Wer Veränderungen richtig testen will, benötigt dafür eine entsprechende Test-Infrastruktur. Dazu gehören z.B. Messprogramme, um Klicks, Mausbewegungen und Bildschirmzeiten zu erfassen. Hierfür hat sich mittlerweile ein Markt an Softwarewerkzeugen gebildet, die diese Anforderungen alle erfüllen können.
Die Durchführung der Tests lässt sich dabei entweder zentral oder dezentral organisieren. Bei einer zentralen Testorganisation besteht der Vorteil darin, dass eine Stelle im Unternehmen Testwerkzeuge und die Analyse der Ergebnisse optimieren kann. Problematisch können aber Prioritätsentscheidungen werden. Bei der dezentralen Vorgehensweise finden die Tests über Geschäftsbereiche verteilt statt. Somit ergibt sich zwar kein Prioritätsproblem mehr, aber es muss sichergestellt werden, dass die kritische Masse an Tests auch wirklich erreicht werden. Weiterhin wird die Qualitätskontrolle der Ergebnisgenerierung schwieriger.
Einen richtigen oder falschen Ansatz gibt es aber nicht. Wer mit A/B Tests startet, sollte aber zunächst mit dem zentralen Ansatz starten.
Bewertung des Erfolgs
Für die Bewertung des Erfolgs einer Veränderung ist es entscheidend, das Bewertungskennzahlen (KPIs – messbarer Erfolg im B2B eCommerce) entwickelt werden, die zu den strategischen Zielen passen. Diese Aufgabe ist keinesfalls trivial. Die Bewertung, welche kurzfristige Kennzahlen tatsächlich Rückschlüsse auf langfristige Ergebnisse erlauben, ist häufig nur nach langer Erfahrung treffsicher möglich.
Zum besseren Verständnis für das Problem hier ein Beispiel:
Stellen Sie sich vor, die Suchmaschine Ihrer Wahl würde die Relevanz Ihrer Suchtreffer senken. Kurzfristig würde dies wahrscheinlich die Anzahl der Suchen und die Anzahl der Klicks auf Werbebanner erhöhen. Langfristig würden Sie aber wahrscheinlich irgendwann die Suchmaschine wechseln. Für die langfristigen Ziele würde die Kennzahl „Anzahl der Suchen“ die Relevanzsenkung der Suchtreffer als positive Veränderung ausweisen. In der Konsequenz besteht die Gefahr den langfristig zu befürchtenden negativen Effekt zu übersehen. Die großen Anbieter haben deshalb umfangreiche Kennzahlensysteme entwickelt, die mehrere tausend Kennzahlen enthalten.
Wir empfehlen, dass Ergebnisse vor der Verwendung immer auf Reproduzierbarkeit geprüft werden sollten.
Zum Thema SEO empfehlen wir Ihnen folgende Blogbeiträge:
- Suchmaschinenoptimierung für Entscheider
- Suche im B2B eCommerce – Tipps zur Optimierung
- Text SEO optimiert schreiben. Wie geht das?
Fazit
A/B Tests sind ein probates Mittel, um das eigene Webangebot zu optimieren. Es geht aber bei A/B Tests nicht nur um das Ergebnis, sondern vor allem auch um die Erkenntnisse die man gewinnt.
Wenn Sie bewerten möchten, was eine Veränderung wert ist, betrachten Sie den Unterschied zwischen dem prognostizierten und dem tatsächlichen Ergebnis. Tritt das ein, was Sie erwartet haben, ist der Erkenntnisgewinn gering. Tritt das Erwartete nicht ein, haben Sie eine wichtige Erkenntnis gewonnen, die Ihnen tatsächlich helfen kann, erfolgreicher zu werden.
Folgende Beiträge veranschaulichen, wie Sie die Erfolgschancen Ihres Shops erhöhen können:
