Calculadora de teste A/B: significância estatística
Compara a taxa de conversão de dois grupos de um teste A/B com o teste z de duas proporções e diz se a diferença passa do valor crítico do nível de confiança escolhido.
- Roda no seu navegador
Resultado
O resultado aparece aqui.
Como o teste compara os dois grupos
z = (taxa B − taxa A) ÷ √(p × (1 − p) × (1 ÷ visitantes A + 1 ÷ visitantes B)), com p = conversões somadas ÷ visitantes somados
O teste z de duas proporções pergunta se a diferença entre as taxas de conversão de A e B é maior do que o acaso costuma produzir. A página junta os dois grupos para estimar a taxa comum, calcula z e compara com o valor crítico do nível de confiança: 1,645 a 90%, 1,960 a 95% e 2,576 a 99%.
Exemplo com 5.000 visitantes por grupo
| Campo | Valor |
|---|---|
| Visitantes do grupo A (controle) | 5.000 |
| Conversões do grupo A | 250 |
| Visitantes do grupo B (variante) | 5.000 |
| Conversões do grupo B | 300 |
| Nível de confiança | 95% |
| Taxa de conversão de A (%) | 5 |
| Taxa de conversão de B (%) | 6 |
| Diferença de B para A (pontos percentuais) | 1 |
| Variação relativa de B sobre A (%) | 20 |
| Valor de z | 2,1932 |
| Valor crítico de z | 1,959964 |
| Resultado do teste | Diferença acima do valor crítico |
Cuidados ao interpretar o resultado
- Fixe a duração e o tamanho da amostra antes de começar e não pare o teste na primeira vez em que o resultado cruzar o valor crítico: olhar a cada dia aumenta os falsos positivos.
- Diferença acima do valor crítico não quer dizer diferença grande: veja também os pontos percentuais e a variação relativa.
- O teste usa uma aproximação pela curva normal, que perde precisão com pouquíssimas conversões ou com taxas perto de 0% ou 100%.
- Vários testes ou várias variantes ao mesmo tempo exigem cuidado extra: cada comparação adicional aumenta a chance de achar uma diferença que não existe.
Nota: A página não mostra p-valor e não decide por você. Ela diz se z passa do valor crítico do nível escolhido; o resto é interpretação do teste.
Perguntas frequentes
Como saber se o teste ab é significativo?
Calcule z e compare com o valor crítico. Com 5.000 visitantes e 250 conversões em A contra 5.000 e 300 em B, z é 2,1932 contra 1,959964: diferença acima do valor crítico.
O que é o teste z de duas proporções?
Compara duas taxas de conversão usando a taxa comum dos dois grupos. No segundo cenário, as taxas são 5% e 5,34%, e z vale 1,1811.
Como comparar a taxa de conversão de duas versões?
Olhe a diferença em pontos percentuais e a variação relativa. No primeiro cenário, B tem 1 ponto percentual a mais, uma variação de 20% sobre A.