Bayesian güvenilir aralıklarının sık sık güven aralıklarının gerisinde kaldığı açıkça görülüyor mu?

Güven ve güvenilir aralıklar arasındaki fark hakkındaki son bir soru, Edwin Jaynes'in bu konuyla ilgili makalesini tekrar okumaya başlamamı sağladı:

Jaynes, ET, 1976. “Olasılık Teorisi, İstatistiksel Çıkarım ve Bilimin İstatistiksel Teorileri, WL Harper ve CA Hooker (ed.), D. Reidel, Dordrecht, s. 175; ( pdf )

Özet olarak, Jaynes şöyle yazıyor:

... Bayesian ve ortodoks çözümleri, güven aralıklarını içeren altı ortak istatistiksel soruna (aynı akıl yürütmeye dayanan önem testleri dahil) sunuyoruz. Her durumda, durumun tam tersi olduğunu tespit ediyoruz, yani Bayesian yönteminin uygulanması daha kolay ve aynı veya daha iyi sonuçlar veriyor. Aslında, ortodoks sonuçlar ancak Bayesian sonuçları ile yakın (ya da tam olarak) aynı fikirde olduklarında tatmin edicidir. Henüz hiçbir ters örnek üretilmemiştir.

(vurgu madeni)

Rapor 1976'da yayınlandı, bu yüzden belki de işler yoluna girmiştir. Sorum şu ki, sık sık güven aralığının Bayesian güvenilir aralığından açıkça üstün olduğu örnekler var mı?

Yanlış önceki varsayımlara dayanan örnekler, farklı yaklaşımların iç tutarlılığı hakkında hiçbir şey söylemedikleri için kabul edilemez.

Daha önce soruyu cevaplamaya başlayacağımı söyledim, işte burada ...

Jaynes, makalesinde sık sık bir güven aralığının yüksek (belirtilen) olasılıkla yalan söylemesini beklediğimiz ve istatistiğin gerçek değerinin yüksek (belirtilen) olasılıkla yatmasını bekleyebileceğimiz bir aralık olarak tanımlanmadığı için biraz yaramazdı. oldukları gibi yorumlanması halinde ortaya çıkar. Sorun şu ki, pratikte güven aralıkları böyle kullanılır, çünkü gerçek değeri içerme olasılığı yüksek olan bir aralık (veri örneğimizden elde edebileceğimiz veriler göz önüne alındığında) sıkça istediğimiz şeydir.

Benim için kilit husus, bir soru ortaya çıktığında, bu soruya doğrudan bir cevap vermenin en iyisi olmasıdır. Bayesian güvenilir aralıkları sık sık güven aralıkları daha kötü olup olmadığı aslında sorulan soruya bağlıdır. Sorulan soru şuysa:

(a) “Bana istatistiğin gerçek değerinin p olasılığına p uzandığı bir zaman verin”, o zaman sıkça bu soruyu doğrudan cevaplayamıyor gibi görünüyor (ve bu Jaynes'in makalesinde tartıştığı türden problemleri ortaya koyuyor), fakat Bayesian olabilir, bu nedenle Bayesian güvenilir bir aralık Jaynes tarafından verilen örneklerde sık güvenirlik aralığından üstündür. Ancak bu, yalnızca frekansçı için "yanlış soru" olduğu içindir.

(b) “Bana deneyin çok kez tekrarlandığı, istatistiğin gerçek değerinin bu aralıkların p *% 100'ü içinde kalacağı bir aralık verin”, ardından sıklıkta cevap tam olarak istediğiniz şeydir. Bayesian ayrıca bu soruya doğrudan bir cevap verebilir (her ne kadar basitçe anlaşılır güvenilir aralık olmasa da). Whuber'in soru hakkındaki yorumu bunun böyle olduğunu gösteriyor.

Bu yüzden, esasen, soruyu doğru bir şekilde belirlemek ve cevabı doğru bir şekilde anlamak meselesidir. Eğer (a) sorusunu sormak istiyorsanız, Bayesian güvenilir bir aralık kullanın, (b) sorusunu sormak istiyorsanız, sık sık bir güven aralığı kullanın.

Bu Larry Wasserman tarafından yazılmış bir kitapta verilen bir "fleshed" örneğidir istatistiklerin tamamı Sayfa 216 üzerinde ( 12.8 Güçlü ve Bayes Çıkarım zayıf yönleri ). Temel olarak Wasserman'in kitabında olmayanları anlatıyorum 1) fırlatma çizgisinden ziyade neler olup bittiğine dair bir açıklama; 2) Wasserman'in rahatça veremediği sık sorulan cevabı; ve 3) aynı bilgiyi kullanarak hesaplanan eşdeğer güvenin aynı problemden muzdarip olduğunu gösteren bir gösteri .

Bu örnekte, aşağıdaki durumu belirtir

1. Örnekleme dağılımına sahip bir gözlem, X:$(X|\theta)\sim N(\theta,1)$
2. önceden dağıtılması varyans için gerçekte bir genel kullanıyor , ancak şeması için uzmanlaşmış )τ 2 τ 2 = $(\theta)\sim N(0,1)$$\tau^2$$\tau^2=1$

Daha sonra, bu kurulumda% 95'lik güvenilir bir aralık kullanarak bir Bayesian kullanarak, sonunda gerçek değeri keyfi olarak büyük olduğunda,% 0 sıklıkta kapsama alanı olduğunu göstermeye devam ediyor . Örneğin, kapsama alanı için bir grafik sunar (p218) ve teta'nın gerçek değeri 3 olduğunda, gözle kontrol ederek kapsama yaklaşık% 35'tir. Sonra söylemeye devam ediyor:$\theta$$\theta$

... Bütün bunlardan ne sonuç çıkarmalıyız? Önemli olan, sık ve Bayes yöntemlerinin farklı soruları yanıtladığını anlamaktır. Önceki inançları verilerle ilkeli bir şekilde birleştirmek için Bayesian çıkarımını kullanın. Güven aralıkları gibi garantili uzun süreli performans ile prosedürler oluşturmak için sık kullanılan yöntemler kullanın ... (p217)

Ve sonra Bayes yönteminin neden bu kadar kötü performans gösterdiğinin bir diseksiyonu veya açıklaması olmadan devam ediyor . Dahası, sık kullanılan yaklaşımdan bir cevap vermez, sadece “uzun dönem” hakkında geniş bir fırça ifadesi - klasik bir politik taktik (gücünüzü + başkalarının zayıflığını vurgular, ancak hiçbir zaman benzerlerini karşılaştırmaz).

olarak belirtilen sorunun sık / ortodoks terimlerle nasıl formüle edilebileceğini göstereceğim ve ardından güven aralıklarını kullanarak sonucun tam olarak Bayesian ile aynı cevabı verdiğini göstereceğim . Böylece, Bayesian'deki herhangi bir kusur (gerçek veya algılanan) güven aralıkları kullanılarak düzeltilmez.$\tau=1$

Tamam, işte gidiyoruz. Sorduğum ilk soru önceki tarafından hangi bilgi durumunun tanımlandığı ? Biri hakkında "cahil" ise , bunu ifade etmenin uygun yolu . Şimdi cahil olduğumuzu varsayalım ve bağımsız olarak gözlemledik . için posteriorumuz ne olurdu ?θ s ( θ ) α 1 , Y ~ N ( θ , 1 ) X, $\theta\sim N(0,1)$$\theta$$p(\theta)\propto 1$$Y\sim N(\theta,1)$$X$$\theta$

Böylece . Bu Wassermans örnekte verilen önceki dağılımı, bir iid kopyasını gözlenen sahip denk olduğu anlamına gelir eşittir . Sık kullanılan yöntemler bir öncekiyle baş edemez, ancak örnekleme dağılımından biri , diğeri eşit olan 2 gözlem yapmış gibi düşünülebilir . Her iki sorun da tamamen eşdeğerdir ve aslında soru için sıkça cevap verebiliriz.$(\theta|Y)\sim N(Y,1)$$X$$0$$0$$X$

Bilinen varyansa sahip normal bir dağılımla uğraştığımız için, ortalama için bir güven aralığı oluşturmak için yeterli bir istatistiktir . Ortalama, eşittir ve örnekleme dağılımına sahiptir$\theta$$\overline{x}=\frac{0+X}{2}=\frac{X}{2}$

Böylece bir CI şöyle verilir:$(1-\alpha)\text{%}$

Ancak, Wasserman için örnek 12.8'in sonuçlarını kullanarak, için posterior güvenilir aralığın şöyle verildiğini gösteriyor:$(1-\alpha)\text{%}$$\theta$

Burada . Böylece, değerine değerini verir ve güvenilir aralık şöyle olur:$c=\frac{\tau^{2}}{1+\tau^{2}}$$\tau^{2}=1$$c=\frac{1}{2}$

Güven aralıkları ile tamamen aynı. Bu yüzden, kapsamda Bayesian yönteminin gösterdiği herhangi bir kusur, sık güven aralığı kullanılarak düzeltilmez! [Eğer görmezden gelmeyi seçerse, o zaman adil bir kıyaslama yapmayı seçtiyse, Bayesyen de bunu önceden görmezden gelmeli ve cehaletten önce ve iki aralık yine de eşit olacaktır - her iki ].X ± Z α / 2$p(\theta)\propto 1$$X \pm Z_{\alpha/2})$

Peki burada neler oluyor? Sorun temel olarak normal örnekleme dağılımının sağlam olmama sorunlarından biridir. çünkü sorun zaten bir kimlik kopyasını gözlemlemeyle eşdeğerdir, . Eğer gözlenen varsa , o zaman bu son derece olası gerçek değeri ise gerçekleşmiş olma (olasılık olduğunu zaman 0,000032 olan). Bu, kapsamın büyük “gerçek değerler” için neden bu kadar kötü olduğunu açıklar, çünkü bir öncekinde yer alan örtülü gözlemi etkili bir şekilde yaparlar . Aslında, bu örneğin temelde aritmetik ortalamanın sınırsız bir etki işlevine sahip olduğunu göstermeye eşdeğer olduğunu gösterebilirsiniz.0 θ = 4 X ≤ 0 θ = $X=0$$0$$\theta=4$$X\leq 0$$\theta=4$

Genelleme. Şimdi bazı insanlar "ama sadece özel bir durum olabilen düşündünüz" diyebilir . Bu doğru değil: herhangi bir değeri , tüm kopyalarının eşit olduğu gözlemlenerek yorumlanabilir . , sorunun ek olarak . Güven aralığı, büyük için aynı "kötü" kapsam özelliklerine sahip olacaktır . Eğer gözlemleyerek değerleri tutmak Ama eğer bu giderek olası hale gelir (ve hiçbir akıllı insan büyük dert devam edeceğini görmeye devam zaman ).τ 2 = $\tau=1$ (N=0,1,2,3,…)NX0Xθ0θ$\tau^2=\frac{1}{N}$ $(N=0,1,2,3,\dots)$$N$$X$$0$$X$$\theta$$0$$\theta$$0$

Keith Winstein,

EDIT: Sadece açıklığa kavuşturmak için, bu cevabı acımasız istatistiksel oyun ile Kralın Keith Winstein Cevap Kral'da verilen örneği açıklar. Bayesian ve Frequentist cevaplarının her ikisi de aynı bilgileri kullanır; bu, aralıkları oluştururken adil ve haksız madeni paraların sayısı hakkındaki bilgiyi görmezden gelmektir. Bu bilgi göz ardı edilmezse, frekans uzmanı Güven aralığını oluştururken örnekleme dağıtımı olarak entegre Beta-Binom Olabilirlik olasılığını kullanmalıdır, bu durumda Clopper-Pearson Güven Aralığı'nın uygun olmadığı ve değiştirilmesi gerekir. Bayesian çözümünde de benzer bir ayarlama yapılmalıdır.

EDIT: Ayrıca, clopper Pearson Interval'in ilk kullanımını açıklığa kavuşturdum.

EDIT: ne yazık ki, alfa benim yanlış yol, ve clopper pearson aralığım yanlış. En kabadayım @ whuber'a özür diler, bunu doğru bir şekilde işaret etti, ama ilk başta kime katılmıyorum ve görmezden geldim.

Clopper Pearson yönteminin kullanılması CI çok iyidir

$\theta$

$X=1$$Pr(Bi(1,\theta)\geq 1)=\theta$$Pr(Bi(1,\theta)\leq 1)=1$$\theta\geq\frac{\alpha}{2}$$1\geq\frac{\alpha}{2}$$X=1$$X=0$$Pr(Bi(1,\theta)\geq 0)=1$$Pr(Bi(1,\theta)\leq 0)=1-\theta$$1-\theta \geq\frac{\alpha}{2}$$\theta\leq 1-\frac{\alpha}{2}$$X=0$$[0.025,1]$$X=1$$[0,0.975]$$X=0$

Bu yüzden, Clopper Pearson Güven Aralığı'nı kullanan hiç kimse asla kafaya düşmeyecek . Aralığı gözlemledikten sonra, temelde bütün parametre alanıdır. Ancak CP aralığı, sözde% 95 aralığa% 100 kapsam sağlayarak bunu yapıyor! Temel olarak, Frequentists, vermesi istenenden% 95 güven aralığında daha fazla güvence vererek "hileler" (böyle bir durumda kim aldatmasa da kim? 1] aralık). Kral tam bir % 95 CI isterse, bu sık kullanılan yöntem gerçekte ne olduğuna bakılmaksızın başarısız olur (belki daha iyi bir yöntem var mıdır?).

Peki ya Bayesian Interval? (özellikle En Yüksek Posterior Desnity (HPD) Bayesian Interval)

$(\theta|X)\sim Beta(1+X,2-X)$$Pr(\theta \geq \theta^{e} | x=1) = 1-(\theta^{e})^{2}$$Pr(\theta \leq \theta^{e} | x=0) = 1-(1-\theta^{e})^{2}$$\theta^{e}=\sqrt{0.05}\approx 0.224$$X=1$$\theta^{e}= 1-\sqrt{0.05}\approx 0.776$$X=0$$(0,0.776)$$X=0$$(0.224,1)$$X=1$

Böylelikle, Bayesian, kötü parayı kazandığı ve Bad madeni paranın şansı ile ortaya çıkacağı kuyruklarda ortaya çıkması durumunda HPD Güvenilir aralığı için başını kesecek .$\frac{1}{10^{12}+1}\times\frac{1}{10}\approx 0$

$0.1$

$0.025$$0.975$

Bir alıntı yapacak hakiki sonra,% 95 güven aralığı tanımı gereği gözlenen aralığının bazı durumlarda (yani en az bir) olmalıdır parametrenin gerçek değerini içermez . Aksi halde,% 95 etiketi nasıl haklı gösterilebilir? % 90,% 50,% 20 ve hatta% 0 aralıklarıyla adlandırmak geçerli ya da geçersiz olmaz mıydı?

Ücretsiz bir kısıtlama olmadan "aslında% 95 veya daha fazla anlamına gelir" ifadesinin ne kadar basit olduğunu söylemiyorum. Bunun nedeni, açık matematiksel çözümün tüm parametre alanı olması ve problemin önemsiz olmasıdır. Sanırım% 50 CI istiyorum? sadece yanlış negatifleri sınırlarsa, tüm parametre alanı sadece bu kriterleri kullanan geçerli bir CI'dir.

$\text{100%}$$X=0$$100\times\frac{10^{12}+\frac{9}{10}}{10^{12}+1}\text{%} > \text{95%}$$X=1$

Kapanışta, bir belirsizlik aralığı sormak biraz garip görünüyor ve ardından belirsiz olduğumuz gerçek değeri kullanarak bu aralığı değerlendirmek. Hem güven hem de güvenilir aralıklar için "daha adil" bir karşılaştırma, bana aralıkla verilen belirsizlik ifadesinin gerçeği gibi görünüyor .

Sorun, cezanızla başlar:

Yanlış önceki varsayımlara dayanan örnekler, farklı yaklaşımların iç tutarlılığı hakkında hiçbir şey söylemedikleri için kabul edilemez.

Evet, önceliğinin doğru olduğunu nereden biliyorsun?

Filogeniye Bayesci çıkarım durumunda. En az bir değişiklik olasılığı, formülün evrimsel süresi (dal uzunluğu t) ile ilgilidir.

ikame oranı olmak.

Şimdi DNA dizilerinin karşılaştırmasına dayanan bir evrim modeli yapmak istiyorsunuz. Temelde, DNA dizileri arasındaki değişim miktarını mümkün olduğunca yakın bir şekilde modellemeye çalıştığınız bir ağacı tahmin etmeye çalışıyorsunuz. Yukarıdaki P, belirli bir dalda en az bir değişiklik şansıdır. Evrimsel modeller, iki nükleotid arasındaki değişim şansını tanımlar ve bu evrimsel modellerden tahmin fonksiyonu ya parametre olarak p ile ya da parametre olarak t ile türetilir.

Hassas bir bilgin yok ve p için daha önce bir daire seçtin. Bu, doğal olarak t için önce üssel olarak azalmaya neden olur. (T'den önce bir daire ayarlamak istiyorsanız daha da sorunlu hale gelir. P'den önce ima edilen, t'nin aralığını kestiğinize bağlıdır.)

Teoride, t sonsuz olabilir, ancak sonsuz bir aralığa izin verdiğinizde, yoğunluk fonksiyonunun altındaki alan da sonsuzluğa eşittir, bu nedenle önceki için bir kesme noktası tanımlamanız gerekir. Şimdi, kesme noktasını yeterince büyük seçtiğinizde, güvenilir aralığın her iki ucunun da yükselmesinin ve belirli bir noktada gerçek değerin artık güvenilir aralıkta bulunmadığını kanıtlamak zor değildir. Birincisi hakkında çok iyi bir fikriniz yoksa, Bayesian yöntemlerinin diğer yöntemlere eşit veya üstün olacağı garanti edilmez.

ref: Joseph Felsenstein: Filozofları Çıkarma, bölüm 18

Bir yandan notta, Bayesian / Frequentist kavgası yüzünden bıktım. İkisi de farklı çerçeveler ve Mutlak Gerçeği de değil. Klasik örnekler yanlısı Bayesian yöntemleri değişmeden olasılık hesaplamasından gelir ve bir sıklıkçı bunlarla çelişmez. Bayesian yöntemlerine karşı klasik argüman değişmez bir öncekinin keyfi seçimini içerir. Ve mantıklı öncelikler kesinlikle mümkün.

Her şey, herhangi bir yöntemin doğru zamanda doğru şekilde kullanılması ile sonuçlanır. Her iki yöntemin de doğru uygulandığı pek çok tartışma / karşılaştırma gördüm. Herhangi bir yöntemin varsayımları çok azdır ve çoğu zaman göz ardı edilir.

EDIT: açıklığa kavuşturmak için, problem, p'ye dayanan tahminin, Bayiliksiz çerçevede t'ye dayanmayan tahminden farklı olmamaktan kaynaklanıyor olması gerçeğinden kaynaklanmaktadır. Filogenetik çıkarım için ML çerçevesinde bu doğru değildir. Yanlış bir mesele değil, yönteme özgü.

Sık yapılan güven aralıkları, hatalı pozitiflerin oranını sınırlandırdı (Tip I hataları) ve kapsamlarının, en kötü durumda bile, güven parametresiyle sınırlandırılacağının garantisi. Bayesian güvenilirlik aralıkları yok.

Dolayısıyla, önemsediğiniz şey yanlış pozitiflerse ve onları sınırlamanız gerekiyorsa, güven aralıkları kullanmak istediğiniz yaklaşımdır.

Örneğin, 100 saraylı ve saraylı mahkeme ile kötü bir kralınız olduğunu ve onlarla birlikte acımasız bir istatistiksel oyun oynamak istediğini varsayalım. Kralın bir trilyon adil para çantasının yanı sıra, kafa olasılığı% 10 olan bir haksız sikke var. Aşağıdaki oyunu yapacak. İlk önce, çantadan rastgele bir şekilde bir bozuk para çekecektir.

Daha sonra yazı tura 100 kişilik bir odanın etrafından geçecek ve her biri özel olarak bir deney yapmaya zorlanacak ve daha sonra her kişi madenin başının ihtimalinin ne olduğunu düşündükleri konusunda% 95'lik bir belirsizlik aralığı belirtecek.

Sahte pozitif olanı temsil eden bir aralık veren herhangi bir kişi - yani kafa ihtimalinin gerçek değerini içermeyen bir aralık - başı kesilecektir.

Para ağırlığının / a posteriori / olasılık dağılım fonksiyonunu ifade etmek istiyorsak, elbette ki güvenilirlik aralığı budur. Cevap, sonuçtan bağımsız olarak daima aralık [0.5, 0.5] olacaktır. Sıfır kafayı veya bir kafayı çevirseniz bile, yine de [0.5, 0.5] diyeceksiniz, çünkü kralın adil bir madeni para çekmesi ve 1/1024 gün üst üste 10 kafa alabilmesi çok muhtemeldir. Bundan daha fazlası, kral haksız madeni para çekti.

Dolayısıyla bu, saraylıların ve saraylıların kullanması için iyi bir fikir değil! Çünkü haksız para çekildiğinde, bütün oda (100 kişinin tamamı) yanlıştır ve hepsi kafasını yitirir.

En önemli şeyin yanlış pozitif olduğu bu dünyada, ihtiyacımız olan şey, ne kadar para çekilmiş olursa olsun, sahte pozitiflerin oranının% 5'in altında olacağının kesin bir garantisidir. O zaman, en kötü durumda bile, parametrenin gerçek değerinden bağımsız olarak en az% 95 oranında çalışan ve sağlayan Blyth-Still-Casella veya Clopper-Pearson gibi bir güven aralığı kullanmamız gerekiyor . Bunun yerine herkes bu yöntemi kullanırsa, o zaman hangi para çekilirse toplansın, günün sonunda beklenen yanlış insan sayısının beşten fazla olmayacağını garanti edebiliriz.

Yani mesele şudur: Kriteriniz yanlış pozitifler (veya aynı zamanda kapsamı garanti altına almak) sınırlama gerektiriyorsa, bir güven aralığı ile gitmelisiniz. Yaptıkları şey bu. Güvenilirlik aralıkları, belirsizliği ifade etmenin daha sezgisel bir yolu olabilir, sık sık yapılan bir analizden oldukça iyi performans gösterebilirler, ancak sizden sorduğunuzda alacağınız yanlış pozitiflere garanti edilmiş sınır vermeyeceklerdir.

(Tabii ki yanlış negatifleri de önemsiyorsanız, bunlar için de garanti veren bir yönteme ihtiyacınız olacak ...)

Frekansist güven aralığının Bayesian güvenilir aralığından açıkça üstün olduğu örnekler var mı (Jaynes tarafından örtülü olarak yapılan zorluk uyarınca).

$\theta$$10$$\theta$$1$$\theta$

Bernardo, bilimsel iletişim için bir standart olarak kullanılmak üzere bir "referans önceliği" önerdi [ve hatta "güvenilir bir referans aralığı" ( Bernardo - objektif güvenilir bölgeler )]. Bunun "Bayesçi yaklaşım" olduğunu varsayarsak, şimdi soru şudur: Bir zaman zaman diğerine göre daha üstün olan zaman nedir? Bayesian aralığının frekans özellikleri her zaman en uygun değildir, ancak "frekans" aralığının Bayesian özellikleri de değildir
(bu arada, "frekans aralığı" nedir?)