Saçma büyük Z skorları ile ilişkili olasılık nasıl hesaplanır?

Ağ motifi tespiti için yazılım paketleri çok yüksek Z-skorları döndürebilir (gördüğüm en yüksek değer 600.000+, ancak 100'den fazla Z-skorları oldukça yaygındır). Bu Z-skorlarının sahte olduğunu göstermeyi planlıyorum.

Büyük Z skorları son derece düşük ilişkili olasılıklara karşılık gelir. İlişkili olasılıkların değerleri, 6'ya kadar Z puanları için örneğin normal dağıtım wikipedia sayfasında (ve muhtemelen her istatistik ders kitabında) verilir.

Soru : 1 - e r f ( n / √ hata fonksiyonu nasıl hesaplanır$1-\mathrm{erf}(n/\sqrt{2})$1.000.000'a kadar n için?

Özellikle bunun için zaten uygulanmış bir paketten sonrayım (mümkünse). Şimdiye kadar bulduğum en iyi şey, n = 150 ( burada ) için hesaplamayı başaran WolframAlpha .

Soru tamamlayıcı hata fonksiyonu ile ilgilidir

$$\textrm{erfc}(x) = \frac{2}{\sqrt{\pi}}\int_{x}^{\infty}\exp(-t^2) d t$$

"büyük" değerleri için ( orijinal sorudaki ) - 100 ile 700.000 arasında. (Pratikte, göreceğimiz gibi yaklaşık 6'dan büyük herhangi bir değer "büyük" olarak değerlendirilmelidir.) Bu, p değerlerini hesaplamak için kullanılacağından, üçten fazla anlamlı (ondalık) basamak elde etmede çok az değer olduğunu unutmayın. .$x$$=n/\sqrt{2}$

Başlamak için @Iterator tarafından önerilen yaklaşımı düşünün,

$$f(x) = 1 - \sqrt{1 - \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right)},$$

nerede

$$a = \frac{8(\pi-3)}{3(4-\pi)} \approx 0.439862.$$

Bu, hata işlevinin kendisine mükemmel bir yaklaşım olsa da, için korkunç bir yaklaşımdır . Ancak, bunu sistematik olarak düzeltmenin bir yolu vardır.$\textrm{erfc}$

Bu kadar büyük değerleri ile ilişkili p değerleri için, göreceli hatasıyla ilgileniyoruz : umarım üç önemli değer için mutlak değerinin 0.001'den az olacağını umuyoruz hassasiyet basamakları. Ne yazık ki bu ifadenin çift ​​kesinlikli hesaplamadaki düşük akışlar nedeniyle büyük için incelenmesi zordur . için karşı göreceli hatayı çizen bir deneme :$x$ $f(x)/\textrm{erfc}(x) - 1$$x$$x$$0 \le x \le 5.8$

5.3 değerini aştığında hesaplama kararsız hale gelir ve 5.8'i geçen önemli bir rakamı veremez. Bu hiç de şaşırtıcı değil: çift ​​kesinlikli aritmetiğin sınırlarını zorluyor. Göreceli hatanın daha büyük için kabul edilebilir derecede küçük olacağına dair bir kanıt olmadığından, daha iyisini yapmamız gerekiyor.$x$$\exp(-5.8^2) \approx 10^{-14.6}$$x$

Hesaplamayı genişletilmiş aritmetik ( Mathematica ile ) yapmak, neler olduğuna dair resmimizi geliştirir:

Hata ile hızla artar ve hiçbir tesviye işareti göstermez. Geçmiş kadar, bu yaklaşım güvenilir bir bilgi basamağı bile sağlamaz!$x$$x=10$

Ancak, grafik doğrusal görünmeye başlıyor. Göreceli hatanın ile doğru orantılı olduğunu tahmin edebiliriz . (Bu teorik temelde mantıklıdır: açıkça garip bir işlevdir ve açıkça eşittir, bu nedenle oranları garip bir işlev olmalıdır. Bu nedenle, göreceli hatanın, eğer artarsa, garip güç ). Bu potansiyel müşteriler bize incelemek için bölü göreceli hatayı . yi incelemeyi tercih ediyorum , çünkü bunun sabit bir sınır değeri olması gerekir. İşte grafiği:$x$$\textrm{erfc}$$f$$x$ $x$$x \cdot \textrm{erfc}(x)/f(x)$

Tahminimiz ortaya çıkmış gibi görünüyor: bu oran 8 civarında bir sınıra yaklaşıyor gibi görünüyor. Sorulduğunda, Mathematica bunu sağlayacaktır:

a1 = Limit[x (Erfc[x]/f[x]), x -> \[Infinity]]

Değer . Bu tahmin geliştirmemizi sağlamaktadır: Aldığımız$a_1 = \frac{2 }{\sqrt{\pi }}e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \approx 7.94325$

$$f_1(x) = f(x) \frac{a_1}{x}$$

yaklaşık ilk ayrıntılandırma olarak. Ne zaman gerçekten büyüktür - daha büyük birkaç bin - Bu yaklaşım ve gayet iyi. ve kadar ilginç bir argüman yelpazesi için hala iyi olmayacağından , prosedürü tekrarlayalım. Bu kez, ters bağıl hata - özellikle, ifadesi - büyük için gibi davranmalıdır (önceki parite hususları nedeniyle) . Buna göre, ile çarpıyoruz ve bir sonraki limiti buluyoruz:$x$$5.3$$2000$$1 - \textrm{erfc}(x)/f_1(x)$$1/x^2$$x$$x^2$

a2 = Limit[x^2 (a1 - x (Erfc[x]/f[x])), x -> \[Infinity]] 

Değer

$$a_2 = \frac{1}{32 \sqrt{\pi }} e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \left(32-\frac{9 (-4+\pi )^3 \pi }{(-3+\pi )^2}\right) \approx 114.687.$$

Bu süreç istediğimiz sürece devam edebilir. Bir adım daha attım,

a3 = Limit[x^2 (a2 - x^2 (a1 - x (Erfc[x]/f[x]))), x -> \[Infinity]] 

değeri yaklaşık 1623.67. (Tam ifade derecesinin rasyonel işlevini içerir ve burada yararlı olmak için çok uzun.)$\pi$

Bu operasyonların çözülmesi nihai yaklaşımımızı verir

$$f_3(x) = f(x)\left(a_1 - a_2/x^2 + a_3/x^4\right)/x.$$

Hata, ile orantılıdır . İçe aktarma orantılılık sabiti, bu nedenle :$x^{-6}$$x^6(1 - \textrm{erfc}(x) / f_3(x))$

Hızla 2660.59 civarında sınırlayıcı bir değere yaklaşır. yaklaşımını kullanarak, göreceli doğruluğu tüm için daha iyi olan tahminlerini elde ederiz . Bir kez 20 ya da öylesine aşıyor (aynı veya çok daha, bizim üç önemli basamak var büyüdükçe). Bir kontrol olarak, burada doğru değerleri için ile arasındaki yaklaşık karşılaştırmayla karşılaştıran bir tablo bulunmaktadır :$f_3$$\textrm{erfc}(x)$$2661/x^6$$x \gt 0$$x$$x$$x$$10$$20$

 x  Erfc    Approximation      
10  2.088*10^-45    2.094*10^-45
11  1.441*10^-54    1.443*10^-54
12  1.356*10^-64    1.357*10^-64
13  1.740*10^-75    1.741*10^-75
14  3.037*10^-87    3.038*10^-87
15  7.213*10^-100   7.215*10^-100
16  2.328*10^-113   2.329*10^-113
17  1.021*10^-127   1.021*10^-127
18  6.082*10^-143   6.083*10^-143
19  4.918*10^-159   4.918*10^-159
20  5.396*10^-176   5.396*10^-176

Aslında, bu yaklaşım, açıklığı için en az iki önemli hassasiyet rakamı sağlar; bu, yaya hesaplamalarının (Excel'in işlevi gibi) nerede ortaya çıktığıdır.$x=8$NormSDist

Son olarak, ilk yaklaşım hesaplama yeteneğimizden endişe edilebilir . Ancak, bu zor değil: üstelde alt akışlara neden olacak kadar büyük olduğunda, kare kök üstelin yarısı kadar iyi yaklaşır,$f$$x$

$$f(x) \approx \frac{1}{2} \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right).$$

Bunun logaritmasını hesaplamak (taban 10'da) basittir ve kolayca istenen sonucu verir. Örneğin, . Bu yaklaşımın ortak logaritması:$x=1000$

$$\log_{10}(f(x)) \approx \left(-1000^2 \left(\frac{4 + a \cdot 1000^2}{\pi + a \cdot 1000^2}\right) - \log(2)\right) / \log(10) \sim -434295.63047.$$

Üstel verim

$$f(1000) \approx 2.34169 \cdot 10^{-434296}.$$

Düzeltmeyi uygulamak ( ) üretir$f_3$

$$\textrm{erfc}(1000) \approx 1.86003\ 70486\ 32328 \cdot 10^{-434298}.$$

Düzeltme% 99'dan fazla orijinal tahminini azaltır (ve aslında, bu Not ,.) (Sadece son basamak doğru değerden Bu yaklaşım farklıdır. İyi bilinen bir başka yaklaşım , eşittir , altıncı anlamlı basamakta . Eminim bunu da geliştirebiliriz, eğer biz aynı teknikleri kullanarak istedim.)$a_1/x \approx 1\text{%}$$\exp(-x^2)/(x\sqrt{\pi})$$1.860038 \cdot 10^{-434298}$

Basit bir üst sınır

Üst kuyruk olasılığının hesaplanmasındaki argümanın çok büyük değerleri için, muhtemelen çift kesinlikli kayar noktalı diğer yöntemleri kullanabilecek kadar iyi olan mükemmel sınırlar vardır. İçin , izin burada standart normal pdf'dir. Hayatta kalma analizindeki standart gösterime bağlı olarak gösterimini kullandım . Mühendislik bağlamlarında, bu işleve işlevi olarak adlandırılır ve .$z > 0$

$$\renewcommand{\Pr}{\mathbb{P}}\newcommand{\rd}{\mathrm{d}} S(z) := \Pr(Z > z) = \int_z^\infty \varphi(z) \rd z \>,$$ $\varphi(z) = (2\pi)^{-1/2} e^{-z^2/2}$$S(z)$$Q$$Q(z)$

Sonra, çok basit, basit bir üst sınır burada sağ taraftaki gösterim bunun üst sınır tahmini olduğunu gösterir. Bu cevap sınırın bir kanıtıdır.

$$\newcommand{\Su}{\hat{S}_u} \newcommand{\Sl}{\hat{S}_\ell} S(z) \leq \frac{\varphi(z)}{z} =: \Su(z) \> ,$$

Birkaç güzel tamamlayıcı alt sınır da vardır. edilmesi en kolay ve en kolay biri bağlı Bu sınırı türetmek için en az üç ayrı yöntem vardır. İlgili bir sorunun bu cevabında böyle bir yöntemin kabaca bir taslağını bulabilirsiniz .

$$S(z) \geq \frac{z}{z^2+1} \varphi(z) =: \Sl(z) \> .$$

Bir resim

Aşağıda gerçek fonksiyon ile birlikte iki sınırın (gri) bir çizimi bulunmaktadır .$S(z)$

Ne kadar iyi?

Arsadan, sınırlar orta derecede büyük için bile oldukça sıkı hale geliyor gibi görünüyor . Kendimize ne kadar sıkı olduklarını ve bu konuda ne tür niceliksel açıklama yapılabileceğini sorabiliriz .$z$

Yararlı bir sıkılık ölçüsü mutlak göreceli hata Bu size tahminin oransal hatasını verir.

$$\newcommand{\err}{\mathcal{E}} \err(z) = \left|\frac{\Su(z) - S(z)}{S(z)}\right| \>.$$

Dahil tüm fonksiyonları sınırlayıcı özelliklerini kullanarak, negatif olmaz çünkü Şimdi, not, o ve , aldığımız ve böylece bir kanıt sağlar söz konusu üst sınır% 1 içinde doğru olduğu için, o% 0.1 olan ve için doğrudur % 0.01'e içinde doğrudur.$\Su(z)$$\Sl(z)$

$$\err(z) = \frac{\Su(z) - S(z)}{S(z)} \leq \frac{\Su(z) - \Sl(z)}{\Sl(z)} = z^{-2} \> ,$$ $z \geq 10$$z \geq 28$$z \geq 100$

Aslında, sınırların basit şekli diğer "yaklaşımlar" üzerinde iyi bir kontrol sağlar. Daha karmaşık yaklaşımların sayısal hesaplamasında, bu sınırların dışında bir değer elde edersek, örneğin burada sağlanan üst sınırın değerini almak için bunu "düzeltebiliriz".

Bu sınırların pek çok ayrıntılandırması vardır. Burada adı geçen Laplace sınırları , rasyonel bir fonksiyon olan formunun üzerinde güzel bir üst ve alt sınır dizisi sağlar.$S(z)$$R(z) \varphi(z)$$R(z)$

Son olarak, işte biraz ilgili bir soru ve cevap.

Çok daha basit işlevlerle yaklaşık olarak tahmin edebilirsiniz - daha fazla bilgi için bu Wikipedia bölümüne bakın . Temel yaklaşım,$\textrm{erf}(x) \approx \textrm{sgn}(x)\sqrt{1 - \exp(-x^2 \frac{4/\pi + ax^2}{1+ax^2}})$

Makalenin bu bölüm için yanlış bir bağlantısı var. Referans verilen PDF, Sergei Winitzki'nin dosyalarında veya bu bağlantıda bulunabilir .