% 95'ten az nesnenin hatalı olma şansı% 95 ise, kaç örneğe ihtiyacım var?

XML site haritanızın daha az olduğundan emin olmalıyım $1\%$çöp (kırık bağlantılar). URL listesi yüz binlerce, ve hepsini 1'e 1 test etmek mümkün olsa bile, pek çok nedenden dolayı:

1 - Saved bandwidth
2 - Faster traffic for real clients
3 - Less noise in visitor statistics (because my test would count as a visit)
5 - I could go on...

Bu yüzden rastgele bir alt küme almak yeterli olur diye düşünüyorum, sorun olasılıkları bilmiyorum.

Kullanabileceğim basit bir işlev var mı?

Eğer yardımcı olursa , bir bağlantının çalışmalarda kopma olasılığı hakkında önceden bilgi sahibi olabiliriz. Diyelim ki koşular boyunca bir$0.75\%$ herhangi bir bağlantının kopması için.

Bu nedenle, kırılma oranı hakkındaki önceden inancınızın dağılımına bağlıdır, ancak: yaklaşık 3600.

import scipy as sp

p = 0.0075
threshold = .01
confidence = .95

f = lambda n: sp.stats.beta(a=n*p, b=n*(1-p)).cdf(threshold) - confidence
print(sp.optimize.fsolve(f, 1000)[0])

>> 3627.45119614

Buradaki fikir, bağlantı kopmalarını Bernoulli denemesi olarak modellemek ve kırılma oranı hakkındaki inançlarınızı beta dağıtımı olarak modellemek. Beta dağıtımı Bernoulli dağıtımına eşdeğerdir ve bir deneme çalıştırdığınızda beta dağıtımını güncelleme yöntemi oldukça basittir:

• eğer bir hata varsa, ilk parametreye bir tane eklersiniz, $\alpha$
• başarılı olursa, ikinci parametreye bir tane eklersiniz, $\beta$

Yani eğer bir $\text{Beta}(0, 0)$dağılım ve zamanın yaklaşık% 75'i başarısızlık görüyorsa, dağılım kütlesinin% 95'i 0.01'in altına düşmeden önce kaç deneme yapılacak? Yaklaşık 3600.

İçin $n$ ile örnekler $p=0.0075$ başarısız olma şansı, başarısızlık sayısı için varyans $n p (1-p)$. Yani merkezi limit teoremini kullanarak,$Z$ standart bir normal,

$$\begin{align*} \mathbb{P}(\text{failures} < .01 n) \approx \mathbb{P}(Z < \frac{n (.01 - p)}{\sqrt{n p (1-p)}}) \approx \mathbb{P}(Z < \sqrt{n} .02898) \end{align*}$$ Şimdi yukarıdakilerin% 95'e eşit olmasını istiyoruz. $Z = 1.645$. Çözme$\sqrt{n} .02898 = 1.645$, Alırım $n=3222$.