Das ABC des A/B Testens

Der Text steht, die Grafiken sind fertig, alle Freigaben eingeholt ... das Timing passt und der Versand steht in den Startlöchern. Doch wird der Newsletter auch performen und dem hohen Verkaufsdruck standhalten? Verleitet der Betreff zum Öffnen der Mail, sorgt das Bild für mehr Bestellungen und sollten Sie nicht doch lieber Mittwoch statt Dienstag verschicken? Sogenannte A/B Tests eignen sich hervorragend, um das maximale Potential von Lese- und Klickraten zu heben. Mehr noch, der direkte Vergleich von Mailings ist eine tragende Komponente im E-Mail Marketing. Regelmäßiges und fundiertes Testen setzt Newsletter auf den Prüfstand und fördert zu Tage, was beim Empfänger gut ankommt und was nicht. mailingwork zeigt, worauf es bei der Auswahl von Testgruppe, Laufzeit und Co. ankommt. Wer A sagt, muss auch ...? A/B Testing ist ein etablierter Standard zur sukzessiven Optimierung von E-Mails und steigert den Erfolg von Newsletter-Kampagnen. Er ermittelt die bessere von mehreren Kampagnenversionen, indem er modifizierte Inhalte des versandfertigen Mailings zunächst an Testgruppen verschickt. Dabei erhält die Gruppe A im Gegensatz zur Gruppe B einen veränderten Newsletter. Mit einzelnen Elementen wie der Betreffzeile oder dem Call-to-action wird also experimentiert. Selbst geringe Nuancen und scheinbar kleine Änderungen am Text oder Design können zu großen Unterschieden und zu einer Steigerung der Conversion-Rate um 100 Prozent führen. Zielführend somit auch zu mehr Umsatz! Doch in A/B Tests steckt noch mehr Potential. Anstatt sich auf seinen Bauch und subjektiven Geschmack verlassen zu müssen, liefert die Stichprobe objektive und aussagekräftige Zahlen. Und nimmt somit Zündstoff aus langen Diskussionen über persönliche Präferenzen. Das ABC des A/B Testens Bevor es per Mausklick an das Aufsetzen des Tests geht, gilt es Klarheit zu schaffen. Im Fokus stehen die Fragen: Was soll getestet werden und anhand von welchem Kriterium soll der Gewinner ermittelt werden? Was wird verglichen? In der Praxis sind der Experimentierfreude der Marketer keine Grenzen gesetzt. So kann eine Vielzahl an Variablen miteinander verglichen werden. Zu den gängigsten Kriterien zählen: - Die Betreffzeile: Stellen Sie zwei Versionen oder mehr gegenüber. Aber halten Sie Ihren Betreff immer nutzenorientiert und bauen Sie Erwartungen auf. - Der Call-to-action: Variieren Sie den Aufforderungstext ("Jetzt kaufen!" vs. "In den Einkaufswagen!") und probieren Sie unterschiedliche Platzierungen. - Der Versandzeitpunkt: Testen Sie verschiedene Tage und verschicken Sie Business-Inhalte auch einmal antizyklisch, zum Beispiel an einem Mittwochnachmittag. - Die Inhalte: Nehmen Sie komplette Mailinginhalte unter die Lupe und finden etwa heraus, ob ein 15%-Rabatt oder ein kostenloser Versand besser ankommen und welches Template-Design (etwa kleines vs. großes Bild) mehr in der Gunst der Leser steht. Neben diesen Klassikern gibt es etliche weitere Elemente eines Mailings, die einen Test wert sind. Dazu gehören das Format der E-Mail und der Absendername – zum Beispiel „mailingwork GmbH“ vs. „Diana Falke - mailingwork“. Tipp: Ändern Sie nicht zu viele Faktoren auf einmal, so können Sie Zusammenhänge besser nachvollziehen! Wer geht als Sieger hervor? Um am Ende des Tests einen Gewinner auszumachen, müssen im Vorfeld konkrete Siegerkriterien festgelegt werden. Ausschlaggebend ist das bestmögliche Erreichen der Marketingziele. - Vergleich der Öffnungsrate: Als Testkriterium sind beispielsweise unterschiedliche Betreffzeilen gewählt. Welche davon erzielt die meisten Öffnungen? - Vergleich der Klickrate: Mehr eingebaute Hyperlinks sorgen in der Regel natürlich auch für mehr Klicks. Die Testversionen sollten dahingehend ein ausgewogenes Verhältnis haben. - Vergleich der Abmelderate: Nicht schön, aber auch die Abmeldungen vom Newsletter sind beim A/B Test einen Blick wert. Letztendlich weist Mailing 1 in der Probe vielleicht die geringere Öffnungsrate gegenüber Mailing 2 auf. Es überzeugt jedoch mit wesentlich mehr Klicks auf den gewünschten Hyperlink zum Shop, zum Whitepaper etc. Tipp: Gewinner ist nicht gleich Gewinner, sondern eine Sache der Abwägung. Orientieren Sie sich an Ihrem Marketingziel statt an nackten Zahlen! Die Auswahl der Testgruppe Der A/B Test basiert auf der Aufteilung des Adressverteilers in mehrere Gruppen. Absolute Grundvoraussetzung für erfolgreiches Gelingen und aussagekräftige Ergebnisse ist die richtige Auswahl des Testvolumens! Um valide Zahlen in der Stichprobe zu erzielen, sollten die Versuchsgruppen nicht zu klein sein. Denn ein geringes Volumen birgt vor allem die Gefahr, dass nicht alle Zielgruppen angemessen repräsentiert, also widergespiegelt, werden. Unserer Erfahrung nach empfehlen sich in den meisten Fällen zwischen zehn und dreißig Prozent des Gesamtverteilers als Testkandidaten. Legen Sie die Größe zum Beispiel auf zehn Prozent fest, so erhalten fünf Prozent Newsletter A und fünf Prozent Newsletter B. Wem diese allgemein gültige Faustregel nicht ausreicht und wer ganz konkrete, individuelle Ergebnisse verlangt, der kommt nicht um einen Signifikanztest herum. Die einzelnen Empfänger müssen bei einem zuverlässigen A/B Test zufällig aus dem Bestand gezogen werden. Diese Auswahl übernimmt mailingwork automatisch. Sie entscheiden dabei, wieviele Untergruppen es geben soll und welche Größe diese haben. Ein weiterer Hinweis: Die Abonnenten wissen natürlich nicht, dass sie für einen Test herangezogen werden. Unterschied ist kein Zufall! – Ein Ausflug in die Statistik Was nützt Ihnen, die angeblich bessere Version gefunden zu haben, wenn die Ergebnisse nicht aussagekräftig genug sind? Hier kommt das Stichwort Signifikanz ins Spiel. Statistische Signifikanz bedeutet, dass ein bestimmter Sachverhalt deutlich zu Tage tritt – und zwar ohne Zufall. Übertragen auf E-Mail Marketing heißt das: Die Ergebnisse eines A/B Tests haben nur Bedeutung, wenn sie nicht zufällig enstanden sind. Auch weitere Stichproben würden das Resultat immer wieder bestätigen. Der bebilderte Newsletter-Artikel würde stets mehr Klicks im Text generieren als der unbebilderte. Eine textliche Hervorhebung von positiven Produkt-Eigenschaften würde stets für mehr Bestellungen sorgen als keine Betonung. Und Umfragen, die an ein Gewinnspiel gekoppelt sind, würden stets mehr Zuspruch erhalten als ohne Gewinnmöglichkeit. Für die Berechnung der Signifikanz gibt es verschiedene, etablierte Methoden. Dazu zählt etwa der sogenannte Chi-Quadrat-Test oder bereits für die Marketingbranche angepasste Tests wie das Tool von Markus Schöberl. Hier geht's zum Signifikanz-Rechner. http://www.tests-im-direktmarketing.de/signifikanzrechnung/signifikanz/ Laufzeit und Endspurt Ein A/B Test kennt keine Mindestlaufzeit. Erlaubt ist alles zwischen einer Stunde und mehreren Tagen. Mailings im Marketing-Alltag werden allerdings zumeist erst knapp vor dem anvisierten Versanddatum fertiggestellt. Gut zu wissen: Nach zwei bis drei Stunden sind in der Regel zwei Drittel beziehungsweise mindestens die Hälfte der Klicks da. Vollkommen ausreichend für valide Ergebnisse! Nachdem Sie Ihren Test angestoßen haben, können Sie bereits den „richtigen“ Versand planen. Denn mailingwork hat eine intelligente Funktion integriert, die Gewinnkriterien automatisiert auswertet, Sieger ermittelt und Newsletter zu einer festgelegten Zeit verschickt. Nach dem Abschluss der Stichprobe erhalten also alle verbleibenden Empfänger die erfolgreichere Newsletter-Variante. Übrigens: Die Newsletter Software mailingwork erkennt, wer bereits eine E-Mail bekommen hat und schickt Post nicht zweimal an eine gleiche Adresse. A/B Test – einen Versuch wert! „Wer A sagt, muss nicht B sagen. Er kann auch erkennen, dass A falsch war.“ Frei nach Bertolt Brecht liegt der Sinn eines A/B Tests darin, unterschiedliche Versionen eines Newsletters auf ihren Erfolg hin zu überprüfen. Er trägt wesentlich zur Optimierung von E-Mail Kampagnen bei und sollte daher im Idealfall auch Bestandteil einer jeden sein. Doch Achtung: Nicht jede Stichprobe führt sofort zu riesigen Sprüngen in der Öffnungs- und Klickrate. Lassen Sie sich davon nicht entmutigen! Testen Sie dessen ungeachtet solange weiter bis aus vielen kleinen und kontinuierlichen Optimierungen ein spürbar erfolgreiches Ergebnis resultiert. Es lohnt sich!