A / B testi için numune boyutunu güvenle belirleme

A / B test aracı oluşturmak isteyen bir yazılım mühendisiyim . Sağlam bir istatistik geçmişim yok ama son birkaç gündür biraz okuma yapıyorum.

Burada açıklanan metodolojiyi takip ediyorum ve aşağıdaki ilgili noktaları özetleyeceğim.

Araç, tasarımcıların ve etki alanı uzmanlarının bir web sitesini belirli bir URL’de gelen trafiği iki veya daha fazla URL’ye bölecek şekilde yapılandırmalarına olanak tanır. Örneğin, http://example.com/hello1 adresine gelen trafik http://example.com/hello1 ve http://example.com/hello2 arasında bölünebilir . Trafik, hedef URL'ler arasında eşit olarak bölünür ve hedef URL'lerin her birindeki pazarlama işlemlerinin performansı karşılaştırılır.

Bu deneyde, örneklem büyüklüğü Nziyaretçilere karşılık gelecektir. Test, bir ziyaretçinin bir pazarlama sürecinde belirli bir işlemi gerçekleştirdiğini açıklayan bir terim olan "dönüşümleri" ölçer. Dönüşümler yüzde olarak ifade edilir ve daha yüksek bir dönüşüm oranı arzu edilir. Bu, testi bağımsız oranların karşılaştırması yapar. Aracın, güvenli sonuçları olan testler üretmek için kolayca kullanılabilmesi gerekir. Uygun bir değer seçmek Nönemlidir.

Bağlantılı makalede, yukarıdaki iki bağımsız oranlı bir güç analizi bulmak için kullanılmıştır N. Bu yöntem, kontrolün dönüşüm oranını önceden bilmek ve istenen istenen dönüşüm iyileştirmesini belirlemek ister. Aynı zamanda% 95 anlamlılık seviyesini ve% 80 istatistiksel gücü belirtir.

Sorular:

1. Bu Nses belirleme yöntemi midir? Eğer öyleyse, teste başlamadan önce kontrolün dönüşüm oranını belirlemenin en güvenli yolu nedir?
2. NBirinin kontrolün dönüşüm oranlarını önceden bilmesini gerektirmediğini belirlemenin sağlam yolları var mı?
3. Bağlantılı makaledeki metodoloji sağlam mı? Olmazsa, beni bağlayabileceğiniz herhangi bir erişilebilir ve kolay sindirilebilir yöntem var mı?

Bu tür bir test yapmanın en yaygın yöntemi binom oranı güven aralığıdır (bkz. Http://bit.ly/fa2K7B ).

İki yolun "gerçek" dönüşüm oranını hiçbir zaman bilemeyeceksiniz, ancak bu size "% 99 güven ile, A, B'den daha etkilidir" efektine bir şey söyleyebilme yeteneği verecektir.

Örneğin: A yolunda 1000 deneme çalıştırdığınızı varsayalım. Bu 1000 deneme arasında 121 başarılı dönüşüm (0.121 dönüşüm oranı) ve bu 0.121 sonuç etrafında% 99 güven aralığı istiyoruz. % 99 güven aralıkları için z-puanı 2.576'dır (bunu bir tabloya bakarsınız), bu nedenle aşağıdaki formüle göre: Yani% 99 güven ile diyebiliriz ki , nerede , A işleminin "gerçek" dönüşüm oranıdır. 0.094≤ s ≤0.148

B süreci için benzer bir aralık kurarsak, aralıkları karşılaştırabiliriz. Eğer aralıklar üst üste binmiyorsa, birinin diğerinden daha iyi olduğunu% 98 güvenle söyleyebiliriz. (Unutmayın, her aralıktan yalnızca% 99 emin olduğumuzdan, karşılaştırmaya olan güvenimiz 0.99 * 0.99)

Eğer aralıklar üst üste binerse, o zaman daha fazla deneme yapmak zorundayız, ya da ayırt etmek için performans açısından çok benzer olduğuna karar vermemiz gerekiyor, bu da bize zorlu kısmı getiriyor - , deneme sayısını belirliyor . Diğer yöntemlere aşina değilim, ancak bu yöntemde, hem A hem de B'nin performansının doğru bir tahmininin olmadığı sürece önden belirleyemezsiniz . Aksi takdirde, aralıkları ayıracak şekilde örnekler elde edene kadar denemeler yapmanız gerekecek.$N$$N$

Sana iyi şanslar. (Bu arada B süreci için kök salıyorum).

IMHO, olduğu sürece, direk doğru yöne gidiyor. Ancak:

• Önerilen yöntem dolaylı olarak iki varsayımda bulunur: temel dönüşüm oranı ve beklenen değişiklik miktarı. Örneklem büyüklüğü, bu varsayımları ne kadar iyi karşıladığınıza bağlıdır. Gerçekçi olduğunu düşündüğünüz çeşitli p1 ve p2 kombinasyonları için gerekli örneklem büyüklüklerini hesaplamanızı öneririm. Bu size örneklem büyüklüğü hesaplamasının gerçekte ne kadar güvenilir olduğu hakkında bir fikir verecektir.

  > power.prop.test (p1=0.1, p2 = 0.1*1.1, sig.level=0.05, power=0.8)
  
       Two-sample comparison of proportions power calculation 
  
                n = 14750.79
               p1 = 0.1
               p2 = 0.11
        sig.level = 0.05
            power = 0.8
      alternative = two.sided
  
   NOTE: n is number in *each* group 
  
  > power.prop.test (p1=0.09, p2 = 0.09*1.1, sig.level=0.05, power=0.8)
  
       Two-sample comparison of proportions power calculation 
  
                n = 16582.2
               p1 = 0.09
               p2 = 0.099
        sig.level = 0.05
            power = 0.8
      alternative = two.sided
  
   NOTE: n is number in *each* group 
  

  Öyleyse, gerçek dönüşüm oranı% 10 yerine% 9 ise, her bir senaryo için yeni formun taban çizgisinden daha büyük dönüşüm oranını% 10 tespit etmek için başka bir 2000 duruma ihtiyaç duyarsınız.

Test yapıldıktan sonra, gerçek gözlemlerinize dayanarak oranlar için güven aralıkları hesaplayabilirsiniz.

• 3'ün altındaki son sonuç (çoklu senaryoların test edilmesi hakkında) pek doğru değil. Birden fazla teste ayarlamak için (örn. Çoklu = 2), her yeni senaryo için sadece başka bir testi eklemek yeterli değildir : Eğer B veya C orijinal A sürümünden daha iyi değilse ve iki test A. B ve B ./. C senaryoların her biri için vakası ile önerildiği gibi yapılır , sonra A'dan uzak bir şekilde yanlış değiştirme olasılığı (1 - α) ² ≈% 10'dur (α: tip I hatasının kabul edilebilirliği ; yukarıda). Başka bir deyişle, başlangıçta belirtildiği gibi neredeyse iki kat daha büyüktür. Bu yaklaşımla ilgili ikinci sorun şudur: B'yi karşılaştırmadan gerçekten yapabilir misiniz. C? Hem B hem de C'yi A'dan daha iyi bulursanız ne yapacaksınız?$n$
  $n$sig.level

Örtüşen aralıkları hesaplamak yerine Z-puanını hesaplarsınız. Bu, algoritmik olarak uygulanması daha kolaydır ve istatistiksel kütüphanelerden yardım alabilirsiniz.

Bir göz atın: https://onlinecourses.science.psu.edu/stat200/node/53