À quoi il sert :Un plan d'expérimentation A/B est un document court et validé, rédigé avant de comparer deux versions d'un service auprès de vrais utilisateurs. Vous repartez avec un plan d'une page validé : une hypothèse unique, deux variantes clairement décrites, un indicateur principal et un indicateur garde-fou avec leurs valeurs actuelles, une répartition convenue avec un analyste et une règle d'arrêt assortie de la décision que déclenchera chaque résultat.
À qui il s’adresse :Les responsables de service, designers et analystes qui veulent trancher entre deux versions sur des critères fixés à l’avance.
Quand l’utiliser
Vous avez deux versions crédibles d'une page, d'un message ou d'un écran du parcours et voulez savoir laquelle fonctionne le mieux auprès de vrais utilisateurs.
Le service a assez de trafic ou de volume pour qu'un écart apparaisse en quelques semaines.
Comment l’utiliser
Écrivez une hypothèse : le changement, l’effet attendu et pourquoi.
Décrivez les variantes A et B côte à côte, en ne changeant qu’une chose importante.
Choisissez un indicateur principal et un indicateur garde-fou qui ne doit pas se dégrader.
Convenez avec un analyste de la répartition, de l’échantillon et de la règle d’arrêt.
Écrivez ce que signifiera chaque résultat, faites valider et figez le plan avant le lancement.
Conseil :Rédigez le plan dans une langue simple, qu'un responsable extérieur à l'équipe peut lire en deux minutes.
Crédits et sources :Fiche de travail et rédaction originales de Tiremesù. Pour aller plus loin : Microsoft Research https://www.microsoft.com/en-us/research/articles/patterns-of-trustworthy-experimentation-pre-experiment-stage/
Guide complet et film :https://www.tiremesu.com/fr/guides/a-b-experiment-plan
