Wofür diese Vorlage gedacht ist: Ein A/B-Testplan ist ein kurzes, abgestimmtes Dokument, das entsteht, bevor zwei Versionen eines Service mit echten Nutzenden verglichen werden. Am Ende steht ein freigegebener, einseitiger Plan: eine einzige Hypothese, zwei klar beschriebene Varianten, eine Haupt- und eine Schutzkennzahl mit aktuellen Werten, eine mit der Analyse abgestimmte Aufteilung und eine Abbruchregel samt der Entscheidung, die jedes Ergebnis auslöst.
Wem sie hilft: Serviceverantwortliche, Designer und Analysten, die zwischen zwei Fassungen anhand vorab vereinbarter Kriterien entscheiden wollen.
Wann sie sich eignet
Es gibt zwei glaubwürdige Versionen einer Seite, Nachricht oder eines Schritts, und die Frage ist, welche für echte Nutzende besser funktioniert.
Der Service hat genug Traffic oder Fallzahlen, damit sich ein Unterschied innerhalb weniger Wochen zeigt.
So wird sie eingesetzt
Eine Hypothese aufschreiben: die Änderung, die erwartete Wirkung und warum.
Variante A und B nebeneinander beschreiben und nur eine wesentliche Sache ändern.
Eine Hauptkennzahl und eine Schutzkennzahl wählen, die sich nicht verschlechtern darf.
Aufteilung, Stichprobe und Abbruchregel mit einer Analystin vereinbaren.
Festhalten, was jedes Ergebnis bedeutet, freigeben lassen und den Plan vor dem Start einfrieren.
Tipp: Den Plan in einfacher Sprache schreiben, die eine Führungskraft außerhalb des Teams in zwei Minuten lesen kann.
Herkunft und Quellen: Original-Arbeitsblatt und Texte von Tiremesù. Weiterführende Lektüre: Microsoft Research https://www.microsoft.com/en-us/research/articles/patterns-of-trustworthy-experimentation-pre-experiment-stage/
Vollständiger Leitfaden und Film:https://www.tiremesu.com/de/guides/a-b-experiment-plan
