Yanlış önceliğe sahip bayes faktörleri

Bayes faktörlerini kullanarak model karşılaştırması ile ilgili bir sorum var. Pek çok durumda, istatistikçiler uygun olmayan önceliklerle (örneğin bazı Jeffreys öncelikleri ve referans öncelikleri) Bayesci bir yaklaşım kullanmakla ilgileniyorlar.

Benim sorum, model parametrelerinin posterior dağılımının iyi tanımlandığı durumlarda, Bayes faktörlerini kullanan modelleri uygunsuz önceliklerin kullanımı altında karşılaştırmak geçerli midir?

Basit bir örnek olarak Normal modelle Lojistik modelin Jeffreys önceliklerini karşılaştırmasını düşünün.

bayesian model-selection prior

— Jeffrey
kaynak

Uygun olmayan bir öneri, "bilgilendirici olmayan bir öngörü" rolünü oynar. "Önceden inanç yok" perspektifindeyseniz, bir modele önceden bir olasılık atayamazsınız. Ancak Berger ve diğer yazarlar tarafından "içsel Bayes faktörleri" kavramına dair bazı makaleler vardır; Bu, bilgi verici olmayan önceliklere sahip Bayes faktörü gibi görünüyor, ancak daha fazlasını söyleyemem çünkü bu kağıtları hiç okumadım. Muhtemelen başka "nesnel Bayesci model seçimi" yöntemleri de vardır (bu terimleri Google'a yazmak Berger'in birkaç makalesini verir).

— Stéphane Laurent

@ StéphaneLaurent Önceki parametrelerin yorumlanması, modelin önceki olasılığından farklıdır. Bu, Bayes faktörünün genel ifadesinden görülebilir. Ayrıca, modellere düzgün, parametrelerden önce düzgün olmayan öncelikler atayabilir ve verilerin size posteriori ne söylediğini görebilirsiniz .

— Jeffrey

Değişken seçimine (AoS, 2012), özellikle Lemma 1'e uygulanarak Bayesian modeli seçimi için kriterleri okumanızı tavsiye ederim . Temel olarak, nadir olmayan parametreler için uygun olmayan öncelikler kullanılamaz.

Hayır. Belirli koşullar altında ( Bernstein-von Mises teoremi nedeniyle) parametre tahmini için uygun olmayan öncelikler uygun olsa da, marjinalleşme paradoksu olarak bilinen şey nedeniyle model karşılaştırması için büyük bir hayır- hayırdır .

Adından da anlaşılacağı gibi sorun, yanlış bir dağılımın marjinal dağılımının iyi tanımlanmamış olmasıdır. Bir olasılığı ve bir önceki : Bayes faktörü marjinal olasılığın hesaplanmasını gerektirir : $p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

Önceden yalnızca orantılılık olarak biliniyor (ör. ) olarak yanlış olduğunu düşünüyorsanız , sorun değerinin bilinmeyen bir sabitle çarpılmasıdır. Bayes faktöründe, bilinmeyen sabiti olan bir şeyin oranını hesaplayacaksınız. $p_1(\theta) \propto 1$ $p_1(x)$

Bazı yazarlar, özellikle ET Jaynes, uygun olmayan öncelikleri uygun önceliklerin bir sırası olarak tanımlayarak bu sorunu çözmeye çalışırlar: o zaman sorun, daha sonra farklı cevaplar veren iki farklı sınırlayıcı sekans olabilmesidir.

— Simon Byrne
kaynak

Cevabınız için teşekkür ederim. Orantılılık sabitleriyle ilgili sorun, Bayesian Choice s. 349'da belirtildiği gibi konum ve ölçek parametreleri gibi ortak parametrelerde daha önce aynı yanlış kullanılarak önlenebilir . Düzgün anlarsam, marjinalleştirme paradoksu yalnızca belirli bir yapı.

— Jeffrey

Sorun, gerçekçi olmayan vakaların baskın olacağı olacaktır: konum parametrenizden önce bir üniformanız varsa, [0,1] 'de olduğu gibi [100,200] aralığına 100 kat ağırlık yerleştireceksiniz ( bazı durumlar).

— Simon Byrne

Ancak mesele şu ki, uygun olmayan öncelikler olasılıkla yorumlanamaz. Öncekinin olasılıksal yorumunun yanlış olduğu için gittiği göz önüne alındığında böyle bir ağırlık yoktur.

— Jeffrey

Olasılıksal değil, ama yine de bir ölçüdür, bu yüzden göreceli karşılaştırmalar yapabilirsiniz (yani [100,200] aralığında [0,1] olduğu gibi [100,200] aralığında 100x “kütle” vardır).

— Simon Byrne

Bu analizin öncekinden ziyade posteriorda yapılması gerektiğini düşünüyorum. Örneğin, Normal durumda için Bağımsızlık Jeffreys gibi bazı eşleşen öncelikler yanlış olabilir . Bu yorumu daha önce uygulayabilirsiniz, ancak bu daha önce büyük sıklık özellikleri olan posterior aralıklar üretir. Bu durumda, gerçekçi olmayan vakalar baskın değildir. (Bu arada tartışma için teşekkürler)

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$

— Jeffrey