Para que serve:Um plano de experimento A/B é um documento curto e acordado, escrito antes de comparar duas versões de um serviço com usuários reais. Você sai com um plano aprovado de uma página: uma única hipótese, duas variantes bem descritas, uma métrica principal e uma de proteção com seus valores atuais, uma alocação combinada com um analista e uma regra de parada com a decisão que cada resultado vai disparar.
Quem se beneficia:Donos de serviço, designers e analistas que querem decidir entre duas versões com base em critérios combinados antes.
Quando usar
Você tem duas versões plausíveis de uma página, mensagem ou passo e quer saber qual funciona melhor para usuários reais.
O serviço tem tráfego ou volume suficiente para que uma diferença apareça em poucas semanas.
Uma decisão está em disputa e a equipe quer evidências que tenha combinado com antecedência.
Como usar
Escreva uma hipótese: a mudança, o efeito esperado e por quê.
Descreva as variantes A e B lado a lado, mudando uma só coisa relevante.
Escolha uma métrica principal e uma métrica de proteção que não pode piorar.
Combine com um analista a divisão, a amostra e a regra de parada.
Escreva o que cada resultado vai significar, obtenha a aprovação e congele o plano antes do lançamento.
Dica:Escreva o plano em linguagem simples, que um gestor de fora da equipe consiga ler em dois minutos.
Créditos e fontes:Ficha de trabalho e textos originais da Tiremesù. Leitura complementar: Microsoft Research https://www.microsoft.com/en-us/research/articles/patterns-of-trustworthy-experimentation-pre-experiment-stage/
Guia completo e vídeo:https://www.tiremesu.com/pt/guides/a-b-experiment-plan