Neden birileri klasik bir yaklaşım yerine 'bilgisiz' olmayan bir Bayesian yaklaşımını kullanır ki?

44

Eğer ilgi sadece bir modelin parametrelerini tahmin ediyorsa (nokta ve / veya aralık kestirimi) ve önceki bilgiler güvenilir değilse, zayıf, (bunun biraz belirsiz olduğunu biliyorum; öncelikli zor) ... Neden birisi klasik yaklaşım yerine 'bilgi verici olmayan' uygunsuz önceliklerle Bayesian yaklaşımını kullanmayı seçsin?

1

Bayesian istatistiklerinin bu tartışmalı kısmıyla ilgili ilginç düşünceleriniz için hepinize teşekkür ederim. Puanlarını okuyup karşılaştırıyorum. Resmi kurallar, pratiklik ve yorumlama açısından kullanımını doğrulayan ilginç argümanlar vardır. Bir noktada bir cevap seçeceğim, ancak bunun çok zor bir iş olacağından korkuyorum.

24

Son derece bilgilendirici olmayan öncelikler kullanıyor olsanız bile, bir Bayesian yaklaşımı ile karşılaşmanızın iki nedeni:

Yakınsaklık problemleri. Yakınsaklık sorunları olan zamanın önemsiz bir miktarına sahip bazı dağılımlar (binom, negatif binom ve genelleşmiş gamalar en çok tanıdıklarımdır). Hesaplama gücüyle esas olarak bu yakınsama sorunlarını çözmek ve onlardan iyi tahminler almak için bir "Bayesian" çerçevesi - ve belirli Markov zinciri Monte Carlo (MCMC) yöntemlerini kullanabilirsiniz.
Yorumlama. Bayesian tahmini +% 95 güvenilir aralığın bir sık tahmin edilen tahmin +% 95 güven aralığından daha sezgisel bir yorumu vardır, bu nedenle bazıları sadece bunları bildirmeyi tercih edebilir.

— fomite
kaynak

3

MCMC gerçekten Bayesian yöntemi değildir. Yakınsama söz konusuysa, basitçe hedef ihtimalinizden (posterior değil) tahminler alabilirsiniz.

— scottyaz

16

Sonuçlar çok benzer olsa da, yorumları farklıdır.

Güven aralıkları, bir deneyi birçok kez tekrarlama ve gerçek parametrelerin çoğu zaman% 95'ini yakalama nosyonunu ifade eder. Ama yakalama şansın % 95 olduğunu söyleyemezsin .

Öte yandan, güvenilir aralıklar (Bayesian), aralığın gerçek değeri yakalamada% 95 "şans" olduğunu söylemenizi sağlar. Güncelleme: Daha Bayesan koymanın bir yolu da sonuçlarınızdan% 95 emin olabilirsiniz.

Bunun nedeni, Baye's Kuralı kullanarak den geçmenizdir. $P(Data|Hypothesis)$ $P(Hypothesis|Data)$

— Dominic Comtois
kaynak

1

Burada kafam karışabilir, ancak “gerçek değer” Bayesian çerçevesine nasıl uyar? Belki arka kipte atıfta bulunuyorsunuz (ya da ortalama ya da .. vb)?

— Makro

Örnek istatistiğiniz ile tahmin ettiğiniz parametre (nüfus değeri) ne olursa olsun, ortalama, ortalama bir fark, bir regresyon eğimi olabilir. Kısaca, neyin peşindesiniz.

— Dominic Comtois

1

Evet, fakat "gerçek değer" parametrenin sabit olduğunu göstermez (yani dağılımı nokta kütlesidir)? Posterior dağılıma bakmanın bütün konsepti, parametreleri bu şekilde düşünmekle aynı fikirde görünmüyor.

— Makro

9

Bunu yapmanın bir nedeninin Bayesian analizinin size tam bir posterior dağılım sağladığına inanıyorum. Bu, tipik daha ayrıntılı aralıklarla sonuçlanabilir . Reis ve Stedinger 2005’ten geçerli bir alıntı: $\pm 2 \sigma$

Parametrelerin tam bir poster dağılımını sağlamak, genellikle olabilirlik fonksiyonu modu tarafından temsil edilen parametrelerin sadece bir tahminini yapan ve asimptotik normallik varsayımlarını ve ikinci dereceden bir yaklaşımı kullanan Bayes yaklaşımının klasik yöntemlere göre bir avantajıdır. belirsizlikleri tanımlamak için log-olabilirlik fonksiyonunun. Bayesian çerçevesi ile, belirsizliklerin değerlendirilmesinde herhangi bir yaklaşım kullanmak zorunda değildir, çünkü parametrelerin tam poster dağıtımı mevcuttur. Ayrıca, bir Bayesian analizi, klasik istatistiklerde güven aralığı kavramından daha kolay yorumlanabilen parametreler veya parametrelerin herhangi bir fonksiyonu için güvenilir aralıklar sağlayabilir (Congdon, 2001).

Örneğin, iki parametre arasındaki fark için güvenilir aralıklar hesaplayabilirsiniz.

— Wayne
kaynak

6

Sir Harold Jeffreys , Bayesian yaklaşımının güçlü bir savunucusuydu. Eğer yaygın olmayan yaygın kullanırsanız, sonuçta ortaya çıkan Bayesian çıkarımının, sık görülen çıkarımsal yaklaşımla aynı olacağını (yani, Bayesian güvenilir bölgelerinin sık sık güven aralıklarla aynı olduğunu) gösterdi. Bayezyalıların çoğu, uygun bilgilendirici öncelikleri savunur. Uygun olmayan önceliklerle ilgili sorunlar var ve bazıları, hiçbirinin gerçekten bilgilendirici olmadığını iddia edebilir. Bence bu Jeffrey'leri daha önce kullanan Bayesliler'in bunu Jeffrey'in takipçisi olarak yaptığını düşünüyorum. Bayesian yaklaşımının en güçlü savunucularından biri olan Dennis Lindley , Jeffrey’lere büyük saygı duyuyor, ancak bilgilendirici öncelikleri savunuyordu.

— Michael Chernick
kaynak

1

Cevabınızın ilk birkaç satırı için +1. Kanımca, "bilgilendirici olmayan" bir öncekinden önce bir Jeffrey’i seçmenin nedeni, sadece Jeffrey’lerin bir takipçisi değil. Bunun sebebi, gerçekten hiçbir varsayımda bulunmaya benzememesidir, oysa bilgilendirici olmayan bir önceden adlandırılan, parametrelendirme hakkında bir varsayımda bulunmaktır.

— Neil G,

1

@NeilG Ayrıca bazı insanları, saf olmayan bir okuyucu tarafından yorumlanabilecek bilgilendirici olmayan öncülleri kullanırken temelde “Fault Frequentist” (Fail Safe ile aynı anlamda) kullanmak için kullanmayı severim.

— Fomite

@EpiGrad: Ne demek istiyorsun? (Üzgünüm, sıkça istatistiklere ilişkin anlayışım çok zayıf.)

— Neil G

1

@NeilG Temel olarak bir Jeffrey'nin öncülüğünün size sık sık tarlada eğitilmiş birisinin görmeyi beklediği bir şeyi vermesini sağlamak. Yerleştirilen Bayesian yöntemlerinde çalışırken fazla nüfuz etmemiş olmanız iyi bir orta yol.

— Fomite

@ NeilG Ayrıca, cevabımda olduğu gibi, sıkça bir analiz yapmak için MCMC kullanıyorsanız , yakınsama sorunları etrafında kayma yapıyorsanız , o zaman Jeffrey'in öncülüğünün de faydalı olduğunu unuttum .

— Fomite

6

Bayesian yaklaşımının pratik avantajları vardır. Bu, zorunlu olarak, tahminlerde yardımcı olur. Ve yeni model aileleri mümkün kılar ve daha karmaşık (hiyerarşik, çok seviyeli) modellerin yapımında yardımcı olur.

Örneğin, karışık modellerde (varyans parametreleriyle rastgele etkiler dahil), daha düşük seviyeli parametrelere göre marjinalleştirilerek varyans parametrelerinin tahmin edilmesi durumunda tahmin daha iyi olur (model katsayıları; buna REML denir ). Bayesian yaklaşımı bunu doğal olarak yapıyor. Bu modellerde, REML'de bile, maksimum olasılık (ML) varyans parametrelerinin tahminleri genellikle sıfırdır veya aşağıya doğru eğilimlidir. Varyans parametreleri için uygun bir yöntem yardımcı olur.

Nokta tahmini ( MAP , maksimum posteriori) kullanılsa bile, model ailesini değiştirmeden önce. Büyük bir miktar collinear değişken kümesi olan doğrusal regresyon kararsızdır. L2 düzenlileştirilmesi bir çare olarak kullanılır, ancak önceden Gaussian (bilgi vermeyen) ve MAP tahmini olan bir Bayesian modeli olarak yorumlanabilir. (L1 normalizasyonu farklı bir önceliktir ve farklı sonuçlar verir. Aslında burada öncekiler biraz bilgi verici olabilir, ancak tek bir parametreyle ilgili değil, parametrelerin toplu özellikleriyle ilgilidir.

Öyleyse, bir şeyi yapmak için Bayesçi yaklaşımın gerekli olduğu bazı yaygın ve nispeten basit modeller var!

Makine öğreniminde kullanılan gizli Dirichlet tahsisi (LDA) gibi işler daha karmaşık modellerle daha da lehinedir . Bazı modeller ise doğal olarak Bayesian, örneğin Dirichlet işlemlerine dayanan modeller .

— scellus
kaynak

6

Sonsuza dek her iki yaklaşımı savunmak için çıkarımın temelleri hakkında tartışabiliriz, ancak farklı bir şey önermeme izin verin. Bir klasik birinin üzerine bir Bayes analizi lehine nedeni hem öngörü ile anlaşma yaklaşır nasıl açıkça gösterilmiştir. Her zamanki koşullu olarak dava hazırladığımızı varsayalım. Klasik olarak, parametresinin bir tahmininin değerini , koşullu yoğunluğa sokmak için bir tahmin yoğunluğu . Bu klasik prediktif yoğunluk , tahmininin belirsizliğini hesaba katmaz $\textit{practical}$ $\hat{\theta} = \hat{\theta}(x_1,\dots,x_n)$ $\Theta$ $f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta)$ $f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\hat{\theta})$ $\hat{\theta}$ : tamamen farklı güven aralıklarına sahip iki eşit nokta tahmini, size aynı öngörüsel yoğunluğu verir. Öte yandan, Bayesyen prediktif yoğunluğu, bir gözlem örneğindeki bilgilerde verilen, parametre hakkındaki belirsizliği hesaba , çünkü

f_{X_{n + 1} ∣ X_{1}, \dots, X_{m}} (x_{n + 1} ∣ x_{1}, \dots, x_{n}) = \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) π (θ ∣ x_{1}, \dots, x_{n}) d θ .

$f_{X_{n+1}\mid X_1,\dots,X_m}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) \, \pi(\theta\mid x_1,\dots,x_n) \, d\theta \, .$

— Zen
kaynak

6

İşaret It yetmeyecek, normal hatalarla lineer regresyon bağlamında frequentist tahmin aralıkları yerine Tahmincilerin eklenti daha önemli istatistiklere dayalı ve ortaklaşa düz üzerinde (tipik noninformatif priors altında Bayes aralıklarla aynıdır olduğunu s ve ).

β

$\beta$

l o g (σ^{2})

$\mathrm{log}(\sigma^2)$

— Camgöbeği

İlgili camgöbeği yorumuna @.

4

Birkaç sebep var:

Pek çok durumda, test istatistiklerini veya güven aralıklarını oluşturmak oldukça zordur, çünkü normal yaklaşımlar - uygun bir bağlantı işlevi kullandıktan sonra bile - ile çalışmak çoğu zaman seyrek veri durumları için çok iyi çalışmaz. MCMC aracılığıyla uygulanan bilgi vermeyen öncelikler ile Bayesian çıkarımı kullanarak, bunun üstesinden gelebilirsiniz (uyarılar için aşağıya bakın). $\pm \text{SE}$
Büyük örnekleme özellikleri, genellikle bazı sık kullanılan yaklaşımlarla tamamen aynıdır.
“Nesnel olmamak” ile suçlanmaktan korktuğu için, gerçekte ne kadar şey biliyor olursak olalım, herhangi bir önceliğe karar vermek genellikle kayda değer bir isteksizliktir. Bilgi vermeyen öncelikleri (“öncelikleri yok”) kullanarak, bazı gözden geçirenlerin eleştirisinden kaçınılacak böyle bir sorun olmadığı söylenebilir.

Şimdi sadece bilgi vermeyen öncelikleri kullanmanın dezavantajları, en önemli olduğunu düşündüğüm şeyden başlayarak ve sonra da oldukça önemli teknik yönlerden bazıları için:

Ne elde ettiğinizin yorumlanması, dürüst olmak gerekirse, sık sık çıkarımdakilerle aynıdır. Sadece sık sık maksimum olabilirlik çıkarımınızı Bayesian maksimum a-posteriori çıkarımı olarak yeniden etiketleyemezsiniz ve bunun sizi çoklu karşılaştırmalar konusunda endişelerden kurtardığını, verilere çoklu bakış açısını getirdiğini ve tüm ifadeleri bazı hipotezlerin olasılığı bağlamında yorumlamanıza izin verdiğini iddia edemezsiniz. doğru. Tabi, tip I hataları vb. Sıkça kullanılan kavramlardır, ancak bilim adamlarının yanlış iddialarda bulunmaya özen göstermeliyiz ve yukarıdakilerin yapılmasının sorunlara yol açtığını biliyoruz. Eğer hiyerarşik bir modele bir şey yerleştirirseniz / ampirik Bayes yaparsanız, bu sorunların çoğu ortadan kalkar (ya da en azından problemin çok azıdır), ancak bu, genellikle modelinizde önceliğinize temel teşkil etmek suretiyle analiz prosedürü yoluyla dolaylı olarak öncelikleri ortaya çıkarır (ve bunun bir alternatifi de öncelikleri açıkça formüle etmektir). Bu düşünceler sık sık göz ardı ediliyor, bence çoğunlukla Bayesian p-hack'leri yapmak (yani çokluğu tanıtmak, ancak görmezden gelmek), Bayes yöntemlerini kullandığınızda (sorun olacak tüm koşulları göz ardı ederken bu sorun değil) bir bahanenin incir yaprağıyla yapmaktır. yerine getirilmesi gerekiyor).
Daha “teknik” tarafta, bilgilendirici olmayan öncelikler problemlidir, çünkü uygun bir posterior garanti edilmez. Birçok kişi Bayesian modellerini bilgilendirici olmayan önceliğe sahipti ve postererin uygun olmadığını farketmedi. Sonuç olarak, esasen anlamsız olan MCMC örnekleri üretildi.

Son nokta, uygun bir posterior sağlayan daha belirsiz (veya biraz daha zayıf bilgilendirici) öncelikler tercih etme argümanıdır. Kuşkusuz, bunlardan örnek almak bazen zor olabilir ve tüm posteriorun keşfedilmediğini fark etmek zor olabilir. Bununla birlikte, belirsiz (ancak uygun) öncelikleri olan Bayesian yöntemlerinin birçok alanda sıkça perspektiften gerçekten iyi küçük örnek özelliklere sahip olduğu gösterilmiştir ve kesinlikle bunları kullanmak için bir argüman olarak görüyorsunuz, biraz daha fazla veri varken bilgi vermeyen önceliği olan yöntemlere karşı herhangi bir fark.

— Björn
kaynak