Normal dağılımı simüle etmek için Box-Muller'ın ters CDF yöntemine göre avantajları?

Bir dizi muntazam değişkenten normal bir dağılımı simüle etmek için birkaç teknik vardır:

Biri iki bağımsız üniforma örneği $(0,1)$ değişen ve bunları iki bağımsız standart normal dağılıma dönüştüren Box-Muller algoritması :
$Z_{0} = \sqrt{- 2 ln U_{1}} cos (2 π U_{0}) Z_{1} = \sqrt{- 2 ln U_{1}} sin (2 π U_{0})$ $Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ Z_1 = \sqrt{-2\text{ln}U_1}\text{sin}(2\pi U_0)$
CDF yöntemi , burada normal cdf'yi $(F(Z))$ bir Tekdüzen değişkenine eşitleyebilir :
$F (Z) = U$ $F(Z) = U$ ve türetme $Z = F^{- 1} (U)$ $Z = F^{-1}(U)$

Sorum şu: hangisi hesaplama açısından daha verimli? İkinci yöntem olduğunu düşünürdüm - ama okuduğum makalelerin çoğu Box-Muller kullanıyor - neden?

Ek bilgi:

Normal CDF'nin tersi bilinir ve verilir:

F^{- 1} (Z) = \sqrt{2} \erf^{- 1} (2 Z - 1), Z \in (0, 1) .

$F^{-1}(Z)\; =\; \sqrt2\;\operatorname{erf}^{-1}(2Z - 1), \quad Z\in(0,1).$

Bu nedenle:

Z = F^{- 1} (U) = \sqrt{2} \erf^{- 1} (2 U - 1), U \in (0, 1) .

$Z = F^{-1}(U)\; =\; \sqrt2\;\operatorname{erf}^{-1}(2U - 1), \quad U\in(0,1).$

normal-distribution simulation uniform

— user2350366
kaynak

Normal CDF'nin tersi nedir? Analitik olarak hesaplanamaz, sadece orijinal CDF parçalı doğrusal işlevle yaklaşık olarak ayarlanmışsa.

— Artem Sobolev

İkisi birbiriyle yakından ilişkili değil mi? Box Muller, 2 değişkenlik nesil için özel bir durum olduğuna inanıyorum.

— ttnphns

Merhaba Barmaley, yukarıda biraz daha bilgi ekledim. Ters CDF'nin bir ifadesi vardır - ancak

hesaplamalı olarak hesaplanmalıdır - bu yüzden kutu Muller'ın tercih edilmesinin nedeni bu olabilir mi? Ben

değerleri gibi, arama tablolarında hesaplanacağını varsaydım ? Dolayısıyla çok daha pahalı bir hesaplama değil mi? Ancak yanılmış olabilirim.

{erf}^{- 1}

$\text{erf}^{-1}$

{erf}^{1}

$\text{erf}^1$

sin

$\text{sin}$

cosine

$\text{cosine}$

— user2350366

Günahsız ve kosinüs içermeyen Box-Muller versiyonları vardır.

— Xi'an

@Dilip Bilgisayar grafikleri, sinüs ve kosinüs gibi çok düşük hassasiyetli uygulamalar için gerçekten uygun arama tabloları kullanılarak optimize edilebilir. Ancak istatistiksel uygulamalar için böyle bir optimizasyon asla kullanılmaz. Sonuçta bu hesaplama için herhangi zor gerçekten değil

den

veya

ama modern bilgisayar sistemleri üzerinde temel işlevleri ile ilgili

trigonometrik fonksiyonlar --including - optimize edilmesi eğilimi (

Intel temel talimatlar yolu geri vardı 8087 yongası!), Ancak erf kullanılamaz veya daha yüksek (= daha yavaş) bir seviyede kodlanmıştır.

{erf}^{- 1}

$\text{erf}^{-1}$

\log

$\log$

sqrt

$\text{sqrt}$

\exp

$\exp$

\cos

$\cos$

\log

$\log$

— whuber

Tamamen olasılıklı bir bakış açısından, her iki yaklaşım da doğru ve dolayısıyla eşdeğerdir. Algoritmik bir bakış açısından, karşılaştırma hem hassasiyeti hem de hesaplama maliyetini dikkate almalıdır.

Box-Muller tek tip bir jeneratöre dayanır ve bu tek tip jeneratörle yaklaşık aynı maliyete sahiptir. Yorumumda belirtildiği gibi, logaritma olmadan olmasa da, sinüs veya kosinüs çağrıları olmadan uzaklaşabilirsiniz:

olana kadar üretir $U_{1}, U_{2} \overset{iid}{\sim} U (- 1, 1)$ $U_1,U_2\stackrel{\text{iid}}{\sim}\mathcal{U}(-1,1)$ $S=U_1^2+U_2^2\le 1$
almak vetanımlayın $Z=\sqrt{-2\log(S)/S}$ $X_{1} = Z U_{1}, X_{2} = Z U_{2}$ $X_1=ZU_1\,,\ X_2=Z U_2$

Genel tersine çevirme algoritması, örneğin ters normal cdf'ye çağrı yapılmasını gerektirir. qnorm(runif(N)) R'de, yukarıdakilerden daha pahalıya mal olabilen ve daha önemlisi, kantil fonksiyon iyi kodlanmadığı sürece, kuyruk bakımından hassasiyet açısından başarısız olabilen .

Whuber tarafından yapılan yorumları takip etmek için , her ikisi de yürütme zamanında ters cdf'nin karşılaştırması rnorm(N)ve qnorm(runif(N))avantajı vardır:

> system.time(qnorm(runif(10^8)))
sutilisateur     système      écoulé
 10.137           0.120      10.251 
> system.time(rnorm(10^8))
utilisateur     système      écoulé
 13.417           0.060      13.472` `

ve kuyruğa uyum açısından: resim açıklamasını buraya girin

Blogumda Radford Neal'un bir yorumunu takiben rnorm, R'deki varsayılanın inversiyon yöntemini kullandığını, dolayısıyla yukarıdaki karşılaştırmanın simülasyon yönteminin kendisini değil, arayüzü yansıttığını belirtmek istiyorum! RNG ile ilgili R belgelerini alıntılamak için:

‘normal.kind’ can be ‘"Kinderman-Ramage"’, ‘"Buggy
 Kinderman-Ramage"’ (not for ‘set.seed’), ‘"Ahrens-Dieter"’,
 ‘"Box-Muller"’, ‘"Inversion"’ (the default), or ‘"user-supplied"’.
 (For inversion, see the reference in ‘qnorm’.)  The
 Kinderman-Ramage generator used in versions prior to 1.7.1 (now
 called ‘"Buggy"’) had several approximation errors and should only
 be used for reproduction of old results.  The ‘"Box-Muller"’
 generator is stateful as pairs of normals are generated and
 returned sequentially.  The state is reset whenever it is selected
 (even if it is the current normal generator) and when ‘kind’ is
 changed.

— Xi'an
kaynak

(1)

\log

$\log$

\sqrt{}

$\sqrt{}$

Φ^{- 1}

$\Phi^{-1}$

Φ^{- 1}

$\Phi^{-1}$

X_{1}

$X_1$

X_{2}

$X_2$

U_{i}

$U_i$

- 1

$-1$

1

$1$

0

$0$

1

$1$

R 3.0.2rowSums

S

$S$ qnorm(runif(N))InverseCDF[NormalDistribution[], #] &

Kabul ediyorum, qnorm(runif(N))% 20 daha hızlırnorm(N)

— Xi'an

Φ^{- 1}

$\Phi^{-1}$

\sin

$\sin$

\cos

$\cos$

Karşılaştırma için, kullanan bir i7-3740QM @ 2.7GHz ve R 3.12, aşağıdaki aramalar için:

RNGkind(kind = NULL, normal.kind = 'Inversion');At <- microbenchmark(A <- rnorm(1e5, 0, 1), times = 100L);RNGkind(kind = NULL, normal.kind = 'Box-Muller');Bt <- microbenchmark(B <- rnorm(1e5, 0, 1), times = 100L)

Elde mean 11.38363 median 11.18718evirtiminin ve mean 13.00401 median 12.48802Box-Muller

— Avraham