Bozuk para çevirmede beta dağılımı

Kruschke'nin Bayesli kitabı, bir bozuk parayı çevirmek için beta dağıtımının kullanılmasıyla ilgili olarak,

Örneğin, madalyonun bir kafa tarafı ve bir kuyruk tarafı olduğu bilgisinden başka önceden bilgimiz yoksa, bu daha önce bir = 1 ve b = 1'e karşılık gelen bir kafa ve bir kuyruğu gözlemlemekle eşdeğerdir.

Neden hiçbir bilgi bir kafa ve bir kuyruk görmeyle aynı olmaz - 0 kafa ve 0 kuyruk benim için daha doğal görünüyor.

probability bayesian beta-distribution

— Hatşepsut
kaynak

(+1) Tırnak yanıltıcıdır, çünkü okuyucuyu çok farklı iki “gözlem” duygusunu eşitlemeye davet eder. Burada kullanılan his , madalyonun kendisini denetlemektir - aslında, deney düzeneğini anladığınız anlamına gelir. Ancak bunun olduğu sonucuna varmak, "gözlem" in farklı bir şekilde deneyi iki kez yürüttüğü anlamında yeniden yorumlanmasına dayanır. Bu tür bir mantıksal el çabukluğu entelektüel bir dışlamadır; sadece Bayes yöntemlerinin keyfi ve mantıksal olarak kaygan görünmesini sağlar, ki bu üzücüdür.

a = b = 1

$a=b=1$

— whuber

Teklif yanlış: Beta'nın önceki sürümleri için bir gerekçe yok (1, 1).

— Neil G

Biri bunun tek bir gözlemin bilgi değerinde olduğunu söyleyebilir - yarım kafa / yarım kuyruk.

— Glen_b

Lütfen kitaptaki bu pasajın amaçlanan amacını unutmayın. Uygulamalı kullanıcılara başlamak için basit bir sezgisel gerekçe olması gerekiyordu , açıkçası matematiksel bir argüman değil ve kesinlikle beta (1,1) 'in en iyi veya tek belirsiz olduğu iddiası değil. Kitabın başka yerlerinde, belirsiz önceliklerdeki mütevazı değişimlerin orta derecede büyük miktarda veri olduğunda posteriorda önemli bir fark olmadığını göstermek için acı çekiyorum. (Elbette öncekine son derece duyarlı Bayes faktörleri hariç!) Diğer yazılarda daha önce Haldane'yi tartıştım.

— John K. Kruschke

Tırnak, OP'nin yorumlarında @whuber tarafından belirtildiği gibi, "mantıklı bir el çabukluğu" (harika ifade!). Madalyonun bir başı ve kuyruğu olduğunu gördükten sonra söyleyebileceğimiz tek şey, hem "kafa" hem de "kuyruk" olaylarının imkansız olmadığıdır. Böylece tüm olasılık kütlesini "kafa" ya da "kuyruk" üzerine koyan bir ayrık atabiliriz. Ancak bu, daha önce kendi başına üniformaya yol açmaz: soru çok daha incedir. Her şeyden önce biraz arka plan özetleyelim. bağımsız ve aynı şekilde dağıtılmış (şartlı olarak ) jeton fırlatılması göz önüne alındığında, bir madalyonun başı olasılığını teta'nın Bayesci çıkarımı için Beta-Binominal eşlenik modelini düşünüyoruz . $\theta$ $n$ $\theta$ $p(\theta|x)$ başlığında kafa gözlemlediğimizde : $x$ $n$

p (θ | x) = B e t a (x + α, n - x + β)

$p(\theta|x) = Beta(x+\alpha, n-x+\beta)$

ettiğini söyleyebiliriz ve , bir "kafa önceden sayısı" ve "kuyrukların önceden numarası ver" (pseudotrials) arasında roller oynar ve etkili bir numune boyutu olarak yorumlanabilir. Bu yoruma, önceki ortalama ve ortalama örnek ağırlıklı ortalaması olarak arka ortalama için iyi bilinen ifadeyi kullanarak da ulaşabiliriz . $\alpha$ $\beta$ $\alpha+\beta$ $\frac{\alpha}{\alpha+\beta}$ $\frac{x}{n}$

Baktığımızda , iki hususları yapabilirsiniz: $p(\theta|x)$

(maksimum cehalet) hakkında önceden bilgimiz olmadığından , sezgisel olarak etkili örnek boyutu "küçük" olmasını bekleriz . Büyük olsaydı, öncekiler oldukça fazla bilgi içermekteydi. Bunu görmenin bir başka yolu, ve ve açısından "küçük" ise , posterior olasılığımız çok bağlı olmayacaktır, çünkü ve . Çok fazla bilgi içermeyen bir önceliğin bazı veriler ışığında hızla ilgisiz hale gelmesini bekleriz. $\theta$ $\alpha+\beta$ $\alpha$ $\beta$ $x$ $n-x$ $x+\alpha\approx x$ $n-x+\beta\approx n-x$
Aynı zamanda, öncesinde ortalama olduğunu ve dağıtımı ile ilgili önceden bilgi sahibi biz beklenir . Bu bir simetri argümanıdır - eğer daha iyisini bilmiyorsak , dağılımın 0'a veya 1'e doğru eğilmesinin bir öncül olmasını beklemezdik . Beta dağılımı $\mu_{prior}=\frac{\alpha}{\alpha+\beta}$ $\theta$ $\mu_{prior}=0.5$

$f (θ | α, β) = \frac{Γ (α + β)}{Γ (α) + Γ (β)} θ^{α - 1} (1 - θ)^{β - 1}$ $f(\theta|\alpha,\beta)=\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha) +\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}$
Bu ifade, sadece simetrik civarındadır , eğer . $\theta=0.5$ $\alpha=\beta$

Bu iki nedenden ötürü, kullanmayı tercih ettiğimiz ne olursa olsun (Beta ailesine ait - hatırlayın, eşlenik model!), Sezgisel olarak ve "küçük" olmasını bekliyoruz. Beta-Binom modeli için yaygın olarak kullanılan üç bilgilendirici olmayan önceliğin hepsinin bu özellikleri paylaştığını görebiliriz, ancak bunun dışında oldukça farklıdırlar. Ve bu açıktır: hiçbir ön bilgi veya "maksimum cehalet" bilimsel bir tanım değildir, bu yüzden ne tür bir öncekinin "maksimum cehalet" i ifade etmesi, yani, bilgilendirici olmayan bir şey ne demek, gerçekte "maksimum" demek istediğinize bağlıdır. cehalet". $\alpha=\beta=c$ $c$

için tüm değerlerin eşdeğer olduğunu söyleyen bir önceliği seçebiliriz , çünkü daha iyisini bilmiyoruz. Yine, bir simetri argümanı. Bu karşılık gelir : $\theta$ $\alpha=\beta=1$

$f (θ | 1, 1) = \frac{Γ (2)}{2 Γ (1)} θ^{0} (1 - θ)^{0} = 1$ $f(\theta|1,1)=\frac{\Gamma(2)}{2\Gamma(1)}\theta^{0}(1-\theta)^{0}=1$
için , yani önceden Kruschke tarafından kullanılan üniforma. Daha resmi olarak, Beta dağılımının diferansiyel entropisi için ifadeyi yazarak, olduğunda maksimize edildiğini görebilirsiniz . Şimdi, entropi genellikle bir dağıtım tarafından taşınan "bilgi miktarının" bir ölçüsü olarak yorumlanır: daha yüksek entropi daha az bilgiye karşılık gelir. Bu nedenle, bu maksimum entropi prensibini, Beta ailesi içinde, daha az bilgi içeren (maksimum cehalet) öncekinin bu tekdüze olduğunu söylemek için kullanabilirsiniz. $\theta\in[0,1]$ $\alpha=\beta=1$
OP tarafından kullanılan başka bir bakış açısını seçebilir ve hiçbir bilginin kafa ve kuyruk görmemesine karşılık gelmeyeceğini söyleyebilirsiniz, yani,

$α = β = 0 \Rightarrow π (θ) \propto θ^{- 1} (1 - θ)^{- 1}$ $\alpha=\beta=0 \Rightarrow \pi(\theta) \propto \theta^{-1}(1-\theta)^{-1}$
Bu yolu elde etmeden önce önceki Haldane denir . işlevinin küçük bir sorunu vardır - üzerindeki integral sonsuzdur, yani normalleştirme sabiti ne olursa olsun, olamaz uygun bir pdf'ye dönüştü. Aslında, Haldane önce uygun bir olan PMF olasılık 0.5 koyar, ile 0.5 için tüm diğer değerleri ve 0 olasılık . Ancak, taşınmayalım - sürekli bir parametre için , uygun bir pdf'ye karşılık gelmeyen öncelikler yanlış öncelikler olarak adlandırılır $\theta^{-1}(1-\theta)^{-1}$ $I=[0, 1]$ $\theta=0$ $\theta=1$ $\theta$ $\theta$ . Daha önce belirtildiği gibi, Bayesci çıkarım için önemli olan tek şey posterior dağılım olduğundan, posterior dağılım uygun olduğu sürece uygun olmayan öncelikler kabul edilebilir. Haldane örneğinde, örneğimizde en az bir başarı ve bir başarısızlık varsa posterior pdf'nin uygun olduğunu kanıtlayabiliriz. Haldane'yi sadece en az bir kafa ve bir kuyruk gözlemlediğimizde kullanabiliriz.

Haldane'nin önceden bilgilendirici olmadığı düşünülebilecek başka bir anlam daha var: posterior dağılımın ortalaması şimdi , arasında frequentist MLE tahminidir yani kafaları örnek frekansı, para çevirme sorun binom modeli. Ayrıca, için güvenilir aralıklar Wald güven aralıklarına karşılık gelir. Frekansçı yöntemler bir önceliği belirtmediği için, önceki Haldane'nin bilgilendirici olmadığı veya önceki bilginin sıfırına karşılık geldiği söylenebilir, çünkü bir frekansçının sıkça yaptığı "aynı" çıkarımlara yol açar. $\frac{\alpha + x}{\alpha + \beta + n}=\frac{x}{n}$ $\theta$ $\theta$
Son olarak, problemin parametrelendirilmesine bağlı olmayan bir önceliği, yani Beta-Binom modeli için karşılık gelen Jeffreys'i kullanabilirsiniz.

$α = β = \frac{1}{2} \Rightarrow π (θ) \propto θ^{- \frac{1}{2}} (1 - θ)^{- \frac{1}{2}}$ $\alpha=\beta=\frac{1}{2} \Rightarrow \pi(\theta) \propto \theta^{-\frac{1}{2}}(1-\theta)^{-\frac{1}{2}}$
$\theta$ $\lambda=log(\frac{\theta}{1-\theta})$ $\theta$

Özetlemek gerekirse, Beta-Binom modelinde daha önce bilgilendirici olmayanlar için kesin bir seçenek yoktur. Seçtiğiniz, sıfır ön bilgi olarak ne demek istediğinize ve analizinizin hedeflerine bağlıdır.

— DeltaIV
kaynak

$p(\theta=0)=0$ $p(\theta=1)=0$ $\theta$ $p(\theta)={\rm Beta}(h+1,(N-h)+1)$

— user23856
kaynak

Cevabınızı anlamakta zorlandım.

— Michael R.Chernick5

p

$p$

θ = 0

$\theta=0$

θ = 1

$\theta=1$