A/B-Testing » Definition & Umsetzung

Was ist A/B-Testing?

A/B-Testing ist eine Methode zur System-Optimierung. Hierbei werden zwei Varianten einer Website oder eines Newsletters, die sich leicht unterscheiden, an verschiedene User ausgespielt. Die Performance der beiden Versionen gibt anschließend Aufschluss darüber, welche Variante besser bei den Usern ankommt.

So können zum Beispiel unterschiedliche Webdesigns getestet, neue oder überarbeitete Features auf ihre Usability überprüft oder die Positionierung verschiedener Inhalte einer Landing Page optimiert werden.

Wie funktioniert A/B-Testing?

Beispiel A/B-Test einer Website: Ist der größere Button besser?

Abbildung: Beispiel A/B-Test

Zunächst sollte eine Hypothese formuliert werden. Da der A/B-Test kein multivariater Test ist, kann nur eine Variable hinsichtlich ihrer Performance überprüft werden. Deswegen sollte auch nur eine Hypothese pro Durchgang getestet werden. Diese kann beispielsweise lauten: „Ein größerer Anmelde-Button führt zu mehr Anmeldungen“.

Nach der Hypothesenformulierung wird die Zielgruppe in zwei Untergruppen, A und B, aufgeteilt. Gruppe A wird anschließend eine Version des Testobjekts ausgespielt und Gruppe B bekommt eine leicht veränderte Version vorgesetzt.

Im Anschluss an den Test werden die Reaktionen der User verglichen. So lässt sich zum Beispiel herausfinden, welche Variante eine bessere Conversion Rate generiert und zu mehr Klicks, Leads oder Verkäufen beiträgt. Um aussagekräftige, signifikante Ergebnisse zu erhalten, ist es wichtig, dass die getestete Zielgruppe ausreichend groß ist. Bei kleineren Websites kann dies eine längere Zeit in Anspruch nehmen.

Worauf muss ich bei einem A/B-Test achten?

Um die Effektivität und Effizienz eines A/B-Tests voll auszuschöpfen, sollten bestimmte Grundlagen befolgt werden. Einige Empfehlungen werden folgend aufgezählt.

Die Veränderungen sollten einfach umsetzbar sein, aber großes Einflusspotenzial haben. Das könnte zum Beispiel eine Veränderung des Kontaktformulars auf einer Webseite sein

Um geeignete Testobjekte zu finden, sollten die Schwächen der eigenen Website identifiziert werden. Das kann beispielsweise durch einen Blick auf den Conversion Funnel geschehen. An den Stellen, wo die meisten User die Seite verlassen, könnte ein A/B-Test ansetzen.

Es sollten nur Seiten getestet werden, bei denen es nötig ist. Besteht bereits eine hohe Conversion Rate einer Seite, wäre ein Test womöglich nicht aussagekräftig und damit von nachgelagerter Priorität

Die Veränderung in Version B sollte sich deutlich von Version A unterscheiden. Detailänderungen wie beispielsweise ein Komma werden keinen großen Einfluss haben.

Die beiden Versionen müssen im selben Zeitraum getestet werden. Das gewährleistet einen Test beider Varianten unter absolut gleichen Rahmenbedingungen. Äußere Einflüsse wie beispielsweise Wetter, Länderspiele, TV Programm u. a. könnten die Ergebnisse sonst verzerren.

Der Testzeitraum sollte ganze Wochen umfassen. So umfassen die gesammelten Daten die wöchentliche Saisonalität des Traffics.

Generell gilt: Mittels A/B-Testing lassen sich Hypothesen falsifizieren, alleinstehend greift der Ansatz jedoch zu kurz. Entsprechend sind stets weitere Quellen für die Erklärung des Nutzerverhaltens und etwaiger Ansatzpunkte bei der Hypothesenbildung wichtig. Weitere Informationen lassen sich zum Beispiel durch die Google Web-Analyse erhalten. Darüber hinaus bieten Aufzeichnungen der Nutzersessions und deren Darstellung in Heatmaps (z. B. via Hotjar) sowie regelmäßige Kundenfeedbacks eine gute Grundlage zur fortlaufenden Website-Optimierung.