«ab-test» etiketlenmiş sorular

Bu yazıda , karışık etki modellemesi ile bir ölçümün tekrarlanabilirliğini (diğer bir deyişle güvenilirlik, sınıf içi korelasyon) nasıl hesaplayacağımı anladım . R kodu şöyle olurdu: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

A / B test aracı oluşturmak isteyen bir yazılım mühendisiyim . Sağlam bir istatistik geçmişim yok ama son birkaç gündür biraz okuma yapıyorum. Burada açıklanan metodolojiyi takip ediyorum ve aşağıdaki ilgili noktaları özetleyeceğim. Araç, tasarımcıların ve etki alanı uzmanlarının bir web sitesini belirli bir URL’de gelen trafiği iki veya daha …

22 hypothesis-testing  statistical-significance  proportion  ab-test 

A / B test sistemleri üzerinde çalışan bir yazılım geliştiricisiyim. Sağlam bir istatistik geçmişim yok, ancak son birkaç aydır bilgi topluyorum. Tipik bir test senaryosu, bir web sitesindeki iki URL'nin karşılaştırılmasını içerir. Bir ziyaretçi ziyaret eder LANDING_URLve daha sonra rasgele URL_CONTROLveya ' ya yönlendirilir URL_EXPERIMENTAL. Bir ziyaretçi bir örnek oluşturur …

18 power-analysis  ab-test  sequential-analysis  optimal-stopping 

Şirketimde A / B testlerinin sonuçlarını (web sitesi varyasyonlarında çalıştırılır) sunmaktan sorumluyum. Testi bir ay boyunca yürütüyoruz ve daha sonra, anlamlılığa ulaşana kadar (veya testi uzun süre çalıştırdıktan sonra önem kazanılmazsa vazgeçene kadar) p değerlerini düzenli aralıklarla kontrol ediyoruz, şimdi öğrendiğim bir şey yanlış bir uygulamadır . Bu uygulamayı şimdi …

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

Her biri 1000 numuneden oluşan iki grup var. Her grupta 2 miktar ölçüyoruz. Birincisi ikili bir değişkendir. İkincisi, ağır kuyruk dağılımını takip eden gerçek bir sayıdır. Her bir metrik için hangi grubun en iyi performansı gösterdiğini değerlendirmek istiyoruz. Aralarından seçim yapabileceğiniz birçok istatistiksel test vardır: insanlar z-testi önerir, diğerleri t-testi …

12 ab-test 

Geçen gün bir a / b test şirketi tarafından hazırlanan bir web seminerinde yerleşik "Data Scientist" deneyi yeniden çalıştırarak sonuçlarınızı doğrulamanız gerektiğini açıkladı. Öncül,% 95 güven seçerseniz,% 5 (1/20) yanlış pozitif şansı vardır. Denemenizi aynı kısıtlamalarla yeniden çalıştırırsanız, şimdi 1/400 var (bunu 0.05 ^ 2 = 1/400 olarak belirlediklerini varsayıyorum) …

11 probability  hypothesis-testing  statistical-significance  ab-test 

Bayes metodolojisi kullanarak AB testi sonuçlarını hesaplamak için Bayesian ab test formülünü kullanıyorum. Pr(pB>pA)=∑i=0αB−1B(αA+i,βB+βA)(βB+i)B(1+i,βB)B(αA,βA)Pr(pB>pA)=∑i=0αB−1B(αA+i,βB+βA)(βB+i)B(1+i,βB)B(αA,βA) \Pr(p_B > p_A) = \sum^{\alpha_B-1}_{i=0} \frac{B(\alpha_A+i,\beta_B+\beta_A)}{(\beta_B+i)B(1+i,\beta_B)B(\alpha_A, \beta_A)} nerede αAαA\alpha_A bir arada artı A için başarı sayısı βAβA\beta_A bir arada artı A için başarısızlık sayısı αBαB\alpha_B bir artı B için başarı sayısı βBβB\beta_B bir artı B için …

10 r  bayesian  ab-test