Örneklem büyüklüğü ile öncekinin posterior üzerine etkisi arasındaki ilişki nedir?

17

Küçük bir örneklem büyüklüğümüz varsa, önceki dağılım posterior dağılımı çok etkiler mi?

bayesian sample-size prior

— toby j
kaynak

5

Sezgi açıktır: ne kadar çok veriye sahip olursanız, önceliklerinize o kadar az güvenmeniz gerekir. Sadece bir istatistik dersi değil, bir yaşam dersi! ;)

— Lucas Reis

27

Evet. Bir veri seti verildiğinde, bir parametrenin arka dağılımı şu şekilde yazılabilir: $\theta$ ${\bf X}$

p (θ | X) \propto \underset{l i k e l i h o o d}{\underset{⏟}{p (X | θ)}} \cdot \underset{p r i o r}{\underset{⏟}{p (θ)}}

$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$

veya günlük ölçeğinde daha yaygın olarak görüldüğü gibi,

\log (p (θ | X)) = c + L (θ; X) + \log (p (θ))

$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$

Günlük olasılığı, , örnek yoğunluğuna göre ölçeklenir , çünkü bu, verilerin önceki bir yoğunluğudur; Bu nedenle, örnek büyüklüğü arttıkça, mutlak değer olarak ise daha büyük olmaktadır kalır (sabit bir değeri için sabit ), bu şekilde toplam $L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$ $L(\theta;{\bf X})$ $\log(p(\theta))$ $\theta$ , numune boyutu arttıkça daha fazla etkilenir. $L(\theta;{\bf X}) + \log(p(\theta))$ $L(\theta;{\bf X})$

Bu nedenle, sorunuzu doğrudan cevaplamak için - önceki dağıtım, olasılıktan daha ağır bastığından daha az alakalı hale gelir. Dolayısıyla, küçük bir örneklem büyüklüğü için, önceki dağılım çok daha büyük bir rol oynamaktadır. Bu, sezgiyi kabul eder, çünkü onları reddetmek için çok fazla veri olmadığında önceki spesifikasyonların daha büyük bir rol oynamasını beklersiniz, örnek boyutu çok büyükse, verilerde mevcut sinyal, öncelik ne olursa olsun ağır basacaktır. inançlar modele yerleştirildi.

— Makro
kaynak

6

+1

de bağlı olduğunu unutmayın .

c

$c$

n

$n$

20

İşte Makro'nun mükemmel (+1) cevabındaki son paragrafı gösterme girişimi. Bu parametre için iki önsel gösterir de dağılımı. Birkaç farklı , gözlendiğinde arka dağılımlar gösterilir . As büyüdükçe, hem posteriors daha yoğunlaşmış olarak . $p$ ${\rm Binomial}(n,p)$ $n$ $x=n/2$ $n$ $1/2$

İçin fark oldukça büyük, ama için hemen hemen hiç fark yoktur. $n=2$ $n=50$

Aşağıdaki iki önceki değerler olan (siyah) ve ${\rm Beta(1/2,1/2)}$ (kırmızı). Posteriorlar, türetildikleri öncekilerle aynı renklere sahiptir. ${\rm Beta(2,2)}$

Posterior distributions

(Diğer birçok model ve diğer öncelikler için, öncekinin önemli olmaması için yeterli olmayacağını unutmayın!) $n=50$

— MånsT
kaynak

4

Çok güzel çizimler, @ MånsT. Cevabınızdaki 'Beta' ve 'Binomial' kelimelerini italikleştirdim - umarım umursamazsınız.

— Makro

Tabii ki hayır, @Macro! Bu şekilde daha iyi göründüğüne katılıyorum.

— MånsT