A/B Test - Multivarianten-Experimente direkt in Shopware

tl;dr

• Navigieren Sie in der Administration zu „Inhalte -> Experimente“
• Legen Sie ein neues Experiment an
• Definieren Sie eine oder mehrere Variationen für das Experiment und weisen Sie ihnen prozentuale Anteile für die Ausspielung zu
• Erstellen Sie für jede Variation die Elemente (Produkt, Kategorie, Landingpage, SCSS, Twig), die Sie für Ihren Test benötigen
• Starten Sie das Experiment, indem Sie es einem Verkaufskanal zuweisen
• Werten Sie die Ergebnisse nach einiger Zeit über das integrierte Analytics-Dashboard oder Google Analytics aus

Experiment anlegen

1. Gehen Sie in der Administration zu Inhalte -> Experimente
2. Klicken Sie auf Neues Experiment
3. Geben Sie dem Experiment einen Namen
4. Speichern Sie das Experiment

Variationen erstellen

1. Erstellen Sie im Experiment über den Button Variation erstellen eine neue Variation
2. Geben Sie der Variation einen Namen und weisen Sie ihr eine Farbe zu
3. Legen Sie den prozentualen Anteil fest, mit dem die Variation ausgespielt werden soll
4. Speichern Sie die Variation

Elemente einer Variation anpassen

1. Klicken Sie auf Element erstellen innerhalb einer Variation und wählen Sie den gewünschten Typ (Produkt, Kategorie, Landingpage, SCSS/CSS, Twig/HTML)
2. Nehmen Sie die gewünschten Anpassungen für das Element vor (siehe unten)
3. Speichern Sie das Element

SCSS/CSS-Elemente

• Geben Sie dem Element einen Namen
• Aktivieren Sie das Element
• Definieren Sie im Editor die gewünschten CSS-Styles

Twig/HTML-Elemente

• Geben Sie dem Element einen Namen
• Aktivieren Sie das Element
• Wählen Sie den Dateipfad und Blocknamen aus, die überschrieben werden sollen
• Definieren Sie im Editor das gewünschte HTML/Twig

Produkt-Elemente

• Wählen Sie das gewünschte Produkt aus
• Aktivieren Sie das Element
• Wählen Sie die Sprachen, für die die Anpassungen gelten sollen
• Passen Sie Produktnamen, Beschreibung, Zusatzfelder und Layout nach Bedarf an

Kategorie-Elemente

• Wählen Sie die gewünschte Kategorie aus
• Aktivieren Sie das Element
• Wählen Sie die Sprachen, für die die Anpassungen gelten sollen
• Passen Sie Kategorienamen, Beschreibung, Zusatzfelder und Layout nach Bedarf an

Landingpage-Elemente

• Wählen Sie die gewünschte Landingpage aus
• Aktivieren Sie das Element
• Wählen Sie die Sprachen, für die die Anpassungen gelten sollen
• Passen Sie Landingpage-Namen, Meta-Titel, Meta-Beschreibung, Zusatzfelder und Layout nach Bedarf an

Experiment starten

1. Öffnen Sie den Tab Übersicht des Experiments
2. Wählen Sie unter Verkaufskanäle & Geltungsbereich die Verkaufskanäle aus, auf denen das Experiment laufen soll. Das ist möglich, sobald mindestens eine Variation einen Anteil der Besucher erhält
3. Speichern Sie das Experiment

Mehrere Experimente gleichzeitig

• Auf einem Verkaufskanal können mehrere Experimente gleichzeitig laufen
• Jedes Experiment zeigt unter Gilt für seinen Geltungsbereich, der sich aus den Elementen seiner Variationen ergibt:
  • Gesamte Storefront: SCSS-, Twig-, Produkt- und Kategorie-Elemente. Ein Besucher nimmt an höchstens einem dieser Experimente teil, sodass sie sich nicht gegenseitig überschreiben
  • Betroffene Landingpages: nur Landingpage-Elemente. Besucher werden beim ersten Aufruf einer der Landingpages zugeteilt, die während des Experiments nicht gecacht werden. Eine Landingpage kann pro Verkaufskanal nur Teil eines laufenden Experiments sein
  • Nur Bedingungen im Rule Builder: keine Elemente. Das Experiment wirkt über die Regelbedingung „A/B-Test-Variation“, zum Beispiel in Aktionen oder Versandarten
• Aktivieren Sie Auf die gesamte Storefront anwenden, wenn eine Regel Produktpreise mit einer Variation des Experiments ändert, zum Beispiel über erweiterte Preise, oder wenn Ihre eigenen Twig-Templates die Variation des Besuchers abfragen (siehe Tipps für Entwickler). Besucher werden dann vor dem HTTP-Cache zugeteilt und sehen die Preise und Templates ihrer Variation auf jeder Seite, und das Experiment fällt unter den Geltungsbereich Gesamte Storefront. Solange das Experiment nicht für die gesamte Storefront gilt, warnt sein Formular vor solchen Preisregeln
• Ändern Sie bei einem laufenden Experiment nicht, ob es für die gesamte Storefront gilt: Das ändert, wer teilnimmt, und verzerrt seine Ergebnisse. Die Administration warnt, bevor Sie eine solche Änderung speichern. Um neu zu beginnen, entfernen Sie das Experiment aus seinen Verkaufskanälen und erstellen Sie ein neues

Tipps für Entwickler

• In Twig-Templates enthält der globale Parameter swkwebAbTestContext die Variation des Besuchers. Bedingungen definieren Sie damit z. B. per {% if swkwebAbTestContext.variationTechnicalName == 'my-technical-name' %}
• swkwebAbTestContext ist nur gesetzt, wenn der Besucher eine Variation eines Experiments für die gesamte Storefront sieht. Landingpage- und Regel-Experimente sind nicht Teil des HTTP-Cache-Schlüssels, daher dürfen Templates nicht von ihnen abhängen
• Für die Originalgruppe ist swkwebAbTestContext ebenfalls nicht gesetzt, da sie sich die Cache-Einträge mit Besuchern außerhalb aller Experimente teilt. Fragen Sie in Templates daher nur die Variationen ab und behandeln Sie die Originalgruppe im else-Zweig
• Ein Experiment, das nur Ihre eigenen Templates ändert, hat keine Elemente und gilt daher nicht für die gesamte Storefront. Aktivieren Sie dafür Auf die gesamte Storefront anwenden, damit Ihre Templates die Variation des Besuchers abfragen können
• Im PHP-Stack können Sie über den Request auf den A/B-Test-Kontext des Besuchers zugreifen: $abTestContext = \Swkweb\AbTest\Core\AbTestRequest::context($request);
• $abTestContext->getAssignments() liefert alle Experimente, an denen der Besucher teilnimmt

Experimente auswerten

• Für eine einfache Auswertung der Bestellungen steht Ihnen ein integriertes Analytics-Dashboard zur Verfügung
• Experimente und Variationen, in denen bereits Bestellungen aufgegeben wurden, lassen sich nicht löschen, damit die Bestellungen ihnen zugeordnet bleiben. Archivieren Sie ein nicht mehr benötigtes Experiment stattdessen, und setzen Sie den Anteil einer Variation auf 0, damit neue Besucher sie nicht mehr erhalten
• Für komplexere Auswertungen können Sie Google Analytics nutzen
• Standardmäßig wird jedes Experiment, an dem ein Besucher teilnimmt, einmal pro Browser-Tab an Google Analytics gemeldet, als experience_impression-Event mit dem Parameter exp_variant_string swkwebAbTest-- (original für die Originalgruppe)
• So lassen sich die Ergebnisse der Tests in Google Analytics auswerten und Berichte erstellen