Teste A/B: calculadora de teste z para uma ou duas proporções
Teste uma proporção contra um valor (com intervalo de Wilson) ou compare duas proporções, como em um teste A/B, com z agrupado, diferença com intervalo de Wald, razão e lift relativo.
- Roda no seu navegador
Resultado
O resultado aparece aqui.
Como o teste é calculado
Informe os sucessos e o total de cada grupo. Com um grupo, o teste compara a proporção com p0 e usa p0 no erro padrão; com dois, usa a proporção agrupada sob a hipótese de que os grupos são iguais.
z = (p1 − p2) ÷ √(p·(1 − p)·(1/n1 + 1/n2)), com p = (x1 + x2) ÷ (n1 + n2)
Exemplo de teste A/B
A converteu 45 de 100 e B converteu 30 de 100: diferença de 0,1500, proporção agrupada 0,3750, z = 2,1909 e valor-p bicaudal 0,0285. O intervalo de Wald da diferença vai de 0,0174 a 0,2826, a razão é 1,5000 e o lift relativo é 0,5000.
Com uma proporção, 60 sucessos em 100 contra p0 = 0,5 dão z = 2,0000, valor-p 0,0455 e intervalo de Wilson de 0,5020 a 0,6906.
O que o resultado não diz
- Vale com amostras grandes o bastante: a aproximação normal perde qualidade com poucos sucessos ou poucos fracassos em algum grupo.
- Um valor-p pequeno não diz que a variante é melhor para o negócio nem o tamanho do ganho; olhe o intervalo e o lift.
- Olhar o resultado várias vezes e parar quando der significativo, ou comparar muitas variantes, infla os falsos positivos: a página não corrige isso nem planeja o experimento. Não é aconselhamento estatístico.
Perguntas frequentes
Como calcular a significância de um teste A/B?
Informe os sucessos e o total de A e de B. No exemplo, z = 2,1909 e o valor-p bicaudal é 0,0285.
O que é lift no teste A/B?
É a variação relativa entre os grupos: razão menos 1. Com 45% contra 30%, a razão é 1,5000 e o lift é 0,5000.
Como fazer um teste z de uma proporção?
Informe sucessos, total e p0. Com 60 de 100 contra 0,5, z = 2,0000 e o valor-p é 0,0455.