Parametrik ve parametrik olmayan önyükleme ile ilgili sorular

Kevin Murphy'nin " Makine Öğrenmesi - Olasılıklı Bir Bakış Açısı " kitabından Sık İstatistikler bölümünü okuyorum . Bootstrap bölümü şu şekildedir:

Bootstrap, örnekleme dağılımını yaklaşık olarak tahmin etmek için basit bir Monte Carlo tekniğidir. Bu özellikle tahmin edicinin gerçek parametrelerin karmaşık bir fonksiyonu olduğu durumlarda kullanışlıdır.

Fikir basit. Biz gerçek parametreleri bilseydik , birçok (diyelim oluşturabilir S ) sahte veri kümelerini, boyut, her N gerçek dağıtım, gelen, x_i ^ s \ sim p | (· θ ^ *) için, s = 1: S, i = 1 = N . Daha sonra tahmincimizi her bir örnekten hesaplayabiliriz, \ hat {\ theta ^ s} = f (x ^ s_ {1: N}) ve elde edilen örneklerin ampirik dağılımını örnekleme dağılımı tahminimiz olarak kullanabiliriz. Yana \ teta bilinmemektedir, fikri parametre ön-yükleyici kullanarak örnekleri oluşturmak için \ şapka {\ teta} (D) yerine.$θ^∗$$S$$N$$x_i^s \sim p (·| θ^∗ )$$s = 1 : S, i = 1 : N$$\hat{\theta^s}=f (x^s_{1:N})$$\theta$$\hat{\theta}(D)$

Parametrik olmayan bootstrap adı verilen bir alternatif, orijinal veri D' den $x^s_i$ ( yedekli) örneklemek ve daha sonra indüklenen dağılımı daha önce olduğu gibi hesaplamaktır. Büyük veri setlerine uygulandığında önyüklemeyi hızlandırmak için bazı yöntemler tartışılmıştır (Kleiner ve ark. 2011).$D$

• 1 . Metin şöyle diyor:

  Gerçek parametreleri \ theta ^ * biliyorsak, $\theta^*$tahmincimizi her örnekten hesaplayabiliriz, $\hat{\theta^s}$ ...

        Ben eğer ama neden her numunenin tahmincisi kullanmak istiyorsunuz zaten gerçek parametreleri biliyoruz $\theta^*$ ?

• 2 . Ayrıca, burada ampirik dağılım ile örnekleme dağılımı arasındaki fark nedir?

• 3 . Son olarak, bu metindeki parametrik ve parametrik olmayan önyükleme arasındaki farkı tam olarak anlamıyorum . Her ikisi de anlaması gözlemler setinden , ama tam olarak ne fark var?$\theta$$D$

Miura tarafından verilen cevap tamamen doğru değil, bu yüzden ben bu eski soruya gelecek kuşak için cevap veriyorum:

(2). Bunlar çok farklı şeyler. Ampirik cdf, verileri üreten CDF'nin (dağılım) bir tahminidir. Kesinlikle, gözlenen her veri noktasına olasılık atayan ayrı CDF'dir , , her . Bu tahminci , her bir ( kesinlikle eşit olarak) gerçek : .K ( X ) = $1/n$x F (x)→F(x)=P(xi≤x)$\hat{F}(x) = \frac{1}{n}\sum_{i=1}^n I(X_i\leq x)$$x$$\hat{F}(x) \to F(x) = P(X_i\leq x)$$x$

Bir istatistiğin örnekleme dağılımı , bunun yerine tekrarlanan deneyler altında görmeyi beklediğiniz istatistiğin dağılımıdır. Yani, denemenizi bir kez yaparsınız ve verileri toplarsınız . , verilerinizin bir işlevidir: . Şimdi, denemeyi tekrarladığınızı ve verilerini topladığınızı varsayalım . Yeni örnekte T'nin yeniden hesaplanması, . 100 numune toplasaydık, 100 tahminimiz olurdu . Bu gözlemler, örnekleme dağılımı meydanaX 1 , … , X n$T$${X_1,\ldots,X_n}$$T$$T = T(X_1,\ldots,X_n)$ T′=T(X ′ 1 ,…,X ′ n )TTTE(T)Var(T${X'_1,\ldots,X'_n}$$T' = T({X'_1,\ldots,X'_n})$$T$$T$$T$. Gerçek bir dağıtımdır. Deney sayısı sonsuzluğa gittikçe, ortalaması ve varyansı birleşir .$E(T)$$Var(T)$

Genel olarak böyle deneyleri tekrarlamıyoruz, sadece bir örneği görüyoruz . a priori'nin temel olasılık işlevini bilmiyorsanız, varyansının tek bir gözlemden ne olduğunu bulmak çok zordur . Önyükleme bu örnekleme dağılımını tahmin etmek için bir yöntemdir yapay yeni örneklerini hesaplamak için hangi "yeni deneyler" çalıştırarak . Her yeni örnek aslında orijinal verilerden sadece bir örnektir. Bunun orijinal verilerden daha fazla bilgi sağlaması gizemli ve tamamen harika.T T T $T$$T$$T$$T$$T$

(1). Haklısın - bunu yapmazdın. Yazar, parametrik bootstrap'ı "dağıtımı biliyor olsaydınız ne yapacağınızı" olarak tanımlayarak ama dağıtım fonksiyonunun çok iyi bir tahmincisini (ampirik cdf) değiştirerek tanımlamaya çalışıyor.

Örneğin, test istatistik biliyorum varsayalım normalde ortalaması sıfır, varyansı biri ile dağıtılmaktadır. örnekleme dağılımını nasıl tahmin edersiniz ? Dağılımını bildiğiniz için, örnekleme dağılımını tahmin etmenin aptalca ve gereksiz bir yolu, 10.000 veya daha fazla standart normal rasgele değişken üretmek için R'yi kullanmak, sonra örnek ortalamalarını ve varyanslarını almak ve bunları ortalama ve örnekleme dağılımının değişimi .T $T$$T$$T$

Biz ise yok önsel parametreleri biliyorum , ama biz normalde dağıtılan biliyoruz, bunun yerine ne yapabileceğini 10.000 veya ampirik cdf alınan numuneler böylece oluşturmak olduğunu hesapla bunların her biri üzerinde, sonra örnek ortalamasını almak ve bu 10.000 varyansı ve bunları beklenen değeri ve varyansının tahminleri olarak kullanın . Ampirik cdf, gerçek cdf'nin iyi bir tahmincisi olduğundan, örnek parametrelerin gerçek parametrelere yakınsamaları gerekir. Bu parametrik bootstrap: tahmin etmek istediğiniz istatistik üzerinde bir model oluşturuyorsunuz. Model, ecdf'den tekrarlanan örneklemeden tahmin ettiğiniz bir parametre, örneğin ile endekslenir.T T T ( μ , σ $T$$T$$T$$T$$(\mu, \sigma)$

(3). Parametrik olmayan bootstrap, normal olarak dağıtıldığı bir önsezi bilmenizi bile gerektirmez . Bunun yerine, ecdf'den tekrarlanan örnekleri çiziyor ve her birinde hesaplıyorsunuz . 10.000 ya da öylesine örnekleri çizilmiş ve 10.000 hesaplanan sonra ler, kendi tahminlerinin histogramı belirleyebiliriz. Bu, örnekleme dağılımının bir görselleştirmesidirT T $T$$T$$T$$T$. Parametrik olmayan önyükleme, örnekleme dağılımının normal veya gama vb. Olduğunu söylemez, ancak örnekleme dağılımını (genellikle) gerektiği gibi tahmin etmenizi sağlar. Parametrik önyüklemeden daha az varsayım yapar ve daha az bilgi sağlar. Parametrik varsayım doğru olduğunda daha az kesindir, yanlış olduğunda daha doğrudur. Karşılaştığınız her durumda hangisini kullanacağınız tamamen bağlama bağlıdır. Kuşkusuz, daha fazla insan parametrik olmayan bootstrap'a aşinadır, ancak genellikle zayıf bir parametrik varsayım, tamamen zor bir modeli tahmin etmeye uygun hale getirir, bu da güzeldir.

Guest47'nin katkıda bulunduğu çabayı gerçekten takdir ediyorum, ancak bazı ufak yönleriyle cevabına pek katılıyorum. Anlaşmazlıklarımı doğrudan ortaya koymam, daha ziyade bu cevaba yansıtırım.

1. Birçok durumda, gerçek parametresini zaten bildiğimizde hesaplamak gereksizdir . Bununla birlikte, tahmininde doğruluğuna ve kesinliğine bakmak istediğimizde hala yararlıdır . Ayrıca, alıntıladığınız pasajınızdaki ilk paragraf, kısa bir süre sonra değineceğim "parametrik bootstrap" kavramını daha kolay anlayabilmenizi sağlayacaktır.θ * θ sθ$\hat\theta s$$\theta*$$\hat\theta s$$\theta*$

2. Guest47 iyi cevap veriyor. Daha fazla detaylandırmaya gerek yok.

3. Parametrik önyüklemede, gözlenen veriler D'dir. Verilere uyacak bir parametrik model ve gerçek parametreler için (bu da verilerin D'nin bir fonksiyonu olan) tahmin edicileri kullanırsınız . Daha sonra ile parametrik modelden binlerce veri kümesi oluşturursunuz ve bu modeller için tahmin edersiniz . Parametrik olmayan önyüklemede, D, örnek (binlerce kez) üretilen veriler yerine tam olarak D'den kullanılır. İçeride ISTV melerin RWMAIWi'nin * İçeride ISTV melerin RWMAIWi'nin İçeride ISTV melerin RWMAIWi'nin$\hat\theta$$\theta*$$\hat\theta$$\hat\theta s$

Ben uzman değilim, ama buna değer:

1. Çünkü teklifinizin ilk cümlesinde belirtildiği gibi örnekleme dağılımıyla ilgileniyorsunuz.

2. Ampirik dağılım, sonlu örnekleminizde gördüğünüz dağılımdır. Örnekleme dağılımı, sonsuz sayıda numune almanız durumunda gördüğünüz şeydir.

Cevap veremiyorum 3. Her zaman burada parametrik olmayan bootstrap olarak "the" bootstrap olarak tanımlanan şeyi anladım.

Örnekleme dağılımı kavramını tam olarak kavramadıysanız, burada çok açıklayıcı R koduna sahip gerçekten güzel bir iplik var.