Önem örneklemesi nedir?

Takviye öğrenmeyi öğrenmeye çalışıyorum ve bu konu benim için kafa karıştırıcı. İstatistiklere giriş yaptım, ancak sezgisel olarak bu konuyu anlayamadım.

Önem örneklemesi, çıkar dağılımından bir parametrenin daha kolay tahminlerini daha kolay elde etmek için , ilgi dağılımından farklı bir dağıtımdan örnekleme şeklidir . Tipik olarak bu, aynı numune büyüklüğü ile doğrudan orijinal dağıtımdan örnekleme ile elde edilenden daha düşük bir varyansa sahip olan parametre tahminlerini sağlayacaktır.

Çeşitli bağlamlarda uygulanır. Genel olarak, farklı dağılımlardan örnekleme , başvuru tarafından belirlenen (önemli bölge) ilgilenilen dağılımın bir kısmında daha fazla numune alınmasına izin verir .

Bir örnek, söz konusu dağılımın sağlayacağı saf rastgele örneklemeden ziyade, dağıtımın kuyruklarından daha fazla örnek içeren bir örneğe sahip olmak isteyebilirsiniz.

Wikipedia makale bu konuda gördük çok soyut. Çeşitli özel örneklere bakmak daha iyidir. Bununla birlikte, Bayesian Networks gibi ilginç uygulamalara bağlantılar içerir .

1940'larda ve 1950'lerde önemli örneklemenin bir örneği, bir varyans azaltma tekniğidir (Monte Carlo Metodu'nun bir şeklidir). Örneğin , Hammersley ve Handscomb tarafından Monte Carlo Yöntemleri adlı kitabın 1964'te Methuen Monograf / Chapman ve Salonu olarak yayınlanan ve 1966'da ve daha sonra diğer yayıncılar tarafından yeniden basılan kitabına bakınız . Kitabın 5.4 . Kısmı , Önem Örnekleme'yi içermektedir.

Önem örneklemesi, integrallere yaklaşmayı amaçlayan bir simülasyon veya Monte Carlo yöntemidir. "Örnekleme" terimi, belli bir dağıtımdan örnekler sağlama niyetinde olmadığı için kafa karıştırıcıdır.

Önem örneklemesinin ardındaki sezgi , gibi iyi tanımlanmış bir integralin geniş bir aralık için bir beklenti olarak ifade edilebileceğidir. olasılık dağılımları: burada yoğunluğu ifade eder olasılık dağılımının ve ve ile belirlenmesi . (Not bu genellikle farklıdır ). Gerçekten de, tercih için yol açar eşitlikler veI = E f [ H ( X ) ] = ∫ X H ( x ) f ( x

$$\mathfrak{I}=\int_\mathfrak{X} h(x)\,\text{d}x$$ f H h f H ( ⋅ ) h ( ⋅ ) H ( x ) = h ( x $$\mathfrak{I}=\mathbb{E}_f[H(X)]=\int_\mathfrak{X} H(x)f(x)\,\text{d}x$$ $f$$H$$h$$f$$H(\cdot)$$h(\cdot)$ 'H(x)f(x)=h(x)ı=ef[' H(x)]-ff(x)>0h(x)≠0- $$H(x)=\dfrac{h(x)}{f(x)}$$ $H(x)f(x)=h(x)$$\mathfrak{I}=\mathbb{E}_f[H(X)]$$-$ desteği üzerindeki bazı kısıtlamalar altında , olduğunda anlamına gelir . Bu nedenle, W. Huber'in yorumunda işaret ettiği gibi, bir integralin bir beklenti olarak temsil edilmesinde bir teklik yoktur, ancak bunun karşısında, bazıları karşılaştırmak için bir zamanlar diğerlerinden daha iyi olan bu tür temsillerin sınırsız bir dizisi vardır. onlar kabul edildi. Örneğin, Michael Chernick , tahmin edicinin varyansını azaltmaya yönelik seçiminden bahseder .$f$$f(x)>0$$h(x)\ne 0$$-$$f$

Bu temel özellik anlaşıldıktan sonra, fikrin uygulanması diğer Monte Carlo yöntemlerinde olduğu gibi Büyük Sayılar Yasasına dayanmak, yani [sözde rasgele bir üretici aracılığıyla] bir iid örneği x_n) taklit etmektir. dağıtılmış ve yaklaşım kullanımı kif ı = $(x_1,\ldots,x_n)$$f$

$$\hat{\mathfrak{I}}=\frac{1}{n} \sum_{i=1}^n H(x_i)$$

1. yansız bir tahmincisi$\mathfrak{I}$
2. neredeyse kesinlikle ben yakınsak$\mathfrak{I}$

Dağıtım seçimine bağlı olarak , yukarıda tahmincisi ben ya sonlu varyans olabilir veya olmayabilir. Ancak, her zaman sınırlı bir varyansa ve hatta keyfi bir şekilde küçük bir varyansa izin veren f seçenekleri vardır (bu seçimler pratikte kullanılamayabilir). Ve ayrıca kümesi var f önem örneklemesi tahmincisi yapmak I çok kötü bir yaklaşım I . Bu, Chatterjee ve Diaconis tarafından yayınlanan bir makalenin önemsiz örnekleyicileri sonsuz varyansla nasıl karşılaştırdığını araştırmasına rağmen, varyansın sonsuzlaştığı tüm seçenekleri içerir . Aşağıdaki resim$f$$\hat{\mathfrak{I}}$$f$$f$$\hat{\mathfrak{I}}$${\mathfrak{I}}$bloguma tartışma ait kağıt ve sonsuz varyans tahminleri zayıf yakınlaşma gösterir.

Önem dağılımı ile önem örneklemesi, bir Exp (1) dağıtım hedefi dağılımı, bir Exp (1/10) dağılımı ve ilgi fonksiyonu . İntegralin gerçek değeri 10'dur .$h(x)=x$$10$

[Aşağıdakiler, Monte Carlo İstatistiksel Yöntemler kitabımızdan üretilmiştir .]

Ripley'den (1987) gelen aşağıdaki örnek, ∫ X h ( x ) f ( x ) integralinde görünen (orijinal) dağılımından başka bir dağıtımdan elde etmenin neden ödediğini gösteriyor.$f$ ilgilenilen bir başka deyişle, bir integralin belirli bir yoğunluğa karşı bir beklenti olarak temsil edilmesini değiştirmek için.

$$\int_\mathfrak{X} h(x) f(x)\,\text{d}x$$

Örnek (Cauchy kuyruk olasılık) ilgi konusu miktar olasılığı olduğunu varsayalım , bu Cauchy değişken daha büyük olan olduğu, Tüm deneysel ortalama üzerinden değerlendirilir iid örnek bir , bu tahmin edicinin varyansı ( bu yana eşittir ).$p$2p= ∫ + ∞${\mathcal{C}}(0,1)$$2$p p 1 =

$$p = \int_2^{+\infty} \; {1\over \pi(1 + x^2)} \; \text{d}x \;.$$ $p$ X 1 ,…, X m $${\hat{p}}_1 = {1\over m} \; \sum_{j=1}^m \; \mathbb{I}_{X_{j} > 2}$$ $X_1,\ldots,X_m$ $\sim$ p ( 1 - p ) / m 0.127 / m p = $\; \mathcal{C}(0,1)$$p(1-p)/m$$0.127/m$$p=0.15$

Bu değişkenlik, in simetrik niteliği dikkate alınarak azaltılabilir , çünkü , , eşittir .${\mathcal{C}}(0,1)$

$${\hat{p}}_2 = {1\over 2m} \; \sum_{j=1}^m \; \mathbb{I}_{|X_{j}| > 2}$$ $p(1-2p)/2m$$0.052/m$

Bu yöntemlerin (göreceli) verimsizliği, bir anlamda, yaklaşımıyla ilgili olmayan, ilgilenilen alan dışındaki değerlerin oluşmasından kaynaklanmaktadır . [Bu, kuyruk alanı tahmininden bahseden Michael Chernick ile ilgilidir.] Eğer , , yukarıdaki integralin beklentisi olduğu kabul edilebilir , burada . Bu nedenle , için alternatif bir değerlendirme yöntemi için$[2,+\infty)$$p$$p$

$$p = {1\over 2} - \int_0^2 \; {1\over \pi(1 + x^2)} \; \text{d}x \;,$$ $h(X) = 2/\pi(1 + X^2)$$X \sim {\mathcal{U}}_{[0, 2]}$$p$ $${\hat{p}}_3 = {1\over 2} - {1\over m} \; \sum_{j=1}^m \; h(U_j)$$ $U_j \sim {\mathcal{U}}_{[0,2]}$. Varyansı olan ve eşit olduğu parça gösterileri bir entegrasyon . Üstelik, , bu integral ayrıca in beklentisi olarak da görülebilir üniform dağılımı karşı ve bir başka değerlendirme olan , . Parçalarla aynı entegrasyon, varyansının göstermektedir${\hat{p}}_3$$(\mathbb{E}[h^2] - \mathbb{E}[h]^2)/m$$0.0285/m$$p$ $$p = \int_0^{1/2} \; {y^{-2}\over \pi(1 + y^{-2})} \; \text{d}y \;,$$ ${1\over 4} \; h(Y) = 1/2\pi(1 + Y^2)$$[0,1/2]$$p$ $${\hat{p}}_4 = {1\over 4 m} \; \sum_{j=1}^m \; h(Y_j)$$ $Y_j \sim {\mathcal{U}}_{[0,1/2]}$${\hat{p}}_{4}$o zaman .$0.95 \; 10^{-4}/m$

İle karşılaştırıldığında , getirdiği varyans azalma düzeyindedir bu değerlendirme gerektiren, özellikle de, anlaşılacağı, Aynı hassasiyeti elde etmek için kat daha az simülasyon . p 410-3${\hat{p}}_1$${\hat p}_4$$10^{-3}$ p 1$\sqrt{1000} \approx 32$$\hat p_1$$\blacktriangleright$