Bayesian ortamında önceki “unutkanlık”?

Bu size daha fazla kanıt olduğu (daha büyük şeklinde söylüyorlar iyi bilinmektedir için , Bayes önce "unutulmuş" olur iid örnekler) ve çıkarım çoğu kanıt (veya olasılık) tarafından etkilenir. $n$ $n$

Çeşitli özel durumlar için bunu görmek kolaydır (önceden Beta ile Bernoulli veya diğer örnek türleri) - ancak ile genel durumda görmenin bir yolu var ve bazı önceki ? $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

DÜZENLEME: Ben herhangi bir önceki durumda genel durumda gösterilemeyeceğini tahmin ediyorum (örneğin, bir nokta-kütle önce posterior bir nokta-kütle tutardı). Ama belki de bir öncünün unutulduğu belirli koşullar vardır.

İşte böyle bir şey göstermek düşünüyorum "yol" tür:

Parametre alanı olduğunu kabul edelim ve izin ve olan tüm ilgili yer sıfır olmayan olasılık kütle iki önceki değerler olmak . Yani, önceki her bir miktar için iki arka hesaplama: $\Theta$ $p(\theta)$ $q(\theta)$ $\Theta$

p (θ | x_{1}, ..., x_{n}) = \frac{\underset{ben}{Π} p (x_{ben} | θ) p (θ)}{\int_{θ} \underset{ben}{Π} p (x_{ben} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

q (θ | x_{1}, ..., x_{n}) = \frac{\underset{ben}{Π} p (x_{ben} | θ) q (θ)}{\int_{θ} \underset{ben}{Π} p (x_{ben} | θ) q (θ) d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

Eğer bölerseniz tarafından (posteriors), sonra elde edersiniz: $p$ $q$

p (θ | x_{1}, ..., x_{n}) / q (θ | x_{1}, ..., x_{n}) = \frac{p (θ) \int_{θ} \underset{ben}{Π} p (x_{ben} | θ) q (θ) d θ}{q (θ) \int_{θ} \underset{ben}{Π} p (x_{ben} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

Şimdi terimine giderken yukarıdaki terimi incelemek istiyorum . İdeal olarak "mantıklı" veya başka bir güzel davranış için belirli bir için gider , ama orada bir şey göstermek için nasıl anlayamıyorum. $n$ $\infty$ $1$ $\theta$

bayesian prior

— bayesianOrFrequentist
kaynak

Bazı sezgiler için, olasılığın örnek boyutu ile ölçeklendiğini, ancak öncekinin ölçmediğini unutmayın.

— Makro

@Macro, teşekkürler, sezgim de vardı, ama daha fazla zorlayamadım. Yukarıdaki düzenlemelerime bakın.

— bayesianOrFrequentist

Ghosh ve Ramamoorthi'nin Bayesian Nonparametrik ders kitabının ilk birkaç bölümü , bahsettiğiniz şeyleri (önce parametrik bir ortamda, sonra parametrik olmayan bir bölümde) ortaya çıkarır; uygun bir kurumdaysanız Springer üzerinden çevrimiçi olarak ücretsiz olarak erişilebilir. Önceki asimptotik bağımlılık eksikliğini resmileştirmenin birçok yolu vardır, ancak elbette birkaç düzenlilik koşulu vardır.

— adam

Posterior oranın önceki oranla doğru orantılı olduğunu unutmayın, bu nedenle olasılık veya kanıt oranı bunu gerçekten etkilemez.

— olasılık

Yanıtlar:

Sadece kaba ama umarım sezgisel bir cevap.

Günlük alanı bakış açısından bak:
$- günlük P (θ | x_{1}, ..., x_{n}) = - günlük P (θ) - Σ_{ben = 1}^{n} günlük P (x_{ben} | θ) - C_{n}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ nerede $C_n>0$ verilere bağlı olan, ancak parametreye bağlı olmayan ve olasılıklarınızın iid gözlemlerinin alındığı bir sabittir. Bu nedenle, sadece posteriorunuzun şeklini belirleyen kısma konsantre olun, yani $S_{n} = - günlük P (θ) - Σ_{ben = 1}^{n} günlük P (x_{ben} | θ)$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
Varsayalım ki $D>0$ öyle ki $-\log P(\theta) \leq D$ . Bu, ayrık dağılımlar için makuldür.
Terimlerin hepsi olumlu olduğu için, $S_n$ "büyüyecek" (teknik özellikleri burada atlıyorum). Ancak öncekinin katkısı $D$ . Bu nedenle, öncekinin katkıda bulunduğu kesir, ki bu en fazla $D/S_n$ , her ek gözlemle monoton olarak azalır.

Elbette titiz kanıtlar teknik özelliklerle yüzleşmek zorundadır (ve çok zor olabilirler), ancak yukarıdaki ayar IMHO'nun en temel parçasıdır.

— Pedro A. Ortega
kaynak

“Önceden unutulmuş” ve “çıkarımın çoğu kanıttan etkileniyor” ifadelerinin ne anlama geldiği konusunda biraz kafam karıştı. Veri miktarı arttıkça, tahmin edicinin (sıralarının) öncekimizden bağımsız olarak parametrenin gerçek değerine yaklaştığını kastediyorum.

Posterior dağılım şeklindeki bazı düzenlilik koşulları varsayıldığında, Bayes Tahmincileri tutarlı ve asimptotik olarak tarafsızdır (bkz. Gelman ve ark., Bölüm 4 ). Bu, numune boyutu arttıkça bayes tahmincisinin parametrenin gerçek değerine yaklaştığı anlamına gelir. Tutarlılık , bayes tahmin edicisinin olasılıkla gerçek parametre değerine yakınsadığı anlamına gelir ve asimptotik tarafsızlık , $\theta_0$ parametrenin gerçek değeridir,

\frac{E [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V bir r (\hat{θ})}} \overset{p}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

Yakınsama, öncekinin spesifik biçimine bağlı değildir, sadece öncekinden ve olasılıktan elde edilen arka dağılımın düzenlilik koşullarını karşıladığına bağlıdır.

Gelman ve arkadaşları adı geçen en önemli düzenlilik durumu olabilirlik parametresi, sürekli bir fonksiyonu ve parametrenin gerçek değeri olması olması olan iç parametre alanı. Ayrıca, belirttiğiniz gibi, posterior, parametrenin gerçek değerinin gerçek değerinin açık bir mahallesinde sıfırdan farklı olmalıdır. Genellikle, önceliğiniz tüm parametre alanında sıfırdan farklı olmalıdır.

— caburke
kaynak

teşekkürler, çok anlayışlı. Aslında "gerçek" parametre değeri ile ilgili olmayan bir sonuç için umuyordum. Sadece teknik olarak göstermek, daha fazla kanıtınız olduğu için, alacağınız posterior, daha önce başladığınız şeyden bağımsız olarak aynıdır. Bunu yansıtacak bazı düzenlemeler yapacağım.

— bayesianOrFrequentist

Baybay merkezi limit teoremine bir göz atın .

— Stéphane Laurent