A/B Test Anlamlılık Hesaplama

Nasıl hesaplanır?

Araç iki oran için z testi uygular. Dönüşüm oranları pA = cA / nA ve pB = cB / nB'dir; n her varyanttaki ziyaretçi, c dönüşüm sayısıdır. Birleşik oran p = (cA + cB) / (nA + nB), standart hata SE = √(p(1 − p)(1/nA + 1/nB)) ve z = (pB − pA) / SE olur. Gösterilen artış, yüzde olarak (pB − pA) / pA'dır.

Karar sabittir: |z| ≥ 1,96 (iki yönlü %95 düzeyi) istatistiksel olarak anlamlı, daha küçük değerler anlamlı değil olarak bildirilir. p değeri gösterilmez. Dönüşümler ziyaretçi sayısını aşamaz ve ziyaretçi sayıları sıfırdan büyük olmalıdır. Test, ziyaretçilerin rastgele bölündüğünü ve örneklem büyüklüğünün önceden belirlendiğini varsayar.

Sık yapılan hatalar

• Dönüşüm alanına dönüşüm oranı yazmak. Alan sayı ister (250), yüzde değil (5).
• Sonuç anlamlı çıkar çıkmaz testi durdurmak. Sürekli bakıp erken bitirmek yanlış pozitifleri artırır; örneklem büyüklüğünü önceden belirleyin.
• %20,00 artışı yüzde puan sanmak. Bu göreli bir artıştır: %5'ten %6'ya çıkmak 1 puanlık kazançtır, göreli olarak %20 eder.
• Anlamlı sonucu değişikliğin büyük ya da değerli olduğunun kanıtı saymak. Yalnızca bu eşikte farkın tesadüf olma ihtimalinin düşük olduğunu söyler.
• Eşit olmayan ya da rastgele olmayan trafik bölmelerinden toplamlar girmek veya geri dönen ziyaretçileri iki kez saymak; testin varsaydığı bağımsızlığı bozar.