Önceden bir eşlenik olması: Derin mülk ya da matematiksel kaza?

Bazı dağıtımlarda eşlenik öncelikler vardır, bazıları değildir. Bu ayrım sadece bir kaza mı? Yani, matematiği siz yaparsınız, ve bir şekilde ya da diğer yolunda gider, ancak size gerçekte kendisi dışında dağıtım hakkında önemli bir şey anlatmaz mı?

Yoksa bir konjugatın varlığı veya yokluğu dağıtımın daha derin bir özelliğini yansıtıyor mu? Konjugat öncelikli dağıtımlar, diğer dağıtımların bu dağıtımlara neden olan diğerlerine göre daha önce bir konjugat olmasına neden olmayan diğer ilginç özellikleri veya özellikleri paylaşıyor mu?

bayesian mathematical-statistics conjugate-prior

— andrewH
kaynak

Normal üstel ailenin bir üyesi olarak yazılabilecek herhangi bir dağıtımın önceden bir eşleniği olması gerektiğini bilmelisiniz.

Konjuge önceliği olmadığı kesin olarak gösterilen herhangi bir ilginç dağılım sınıfını biliyor muyuz? Bilinen CP'leri olan 3 veya daha fazla parametre içeren çok az dağılım olduğunu biliyorum, ancak bunların mevcut olmadığını bildiğimizden emin değil miyim, yoksa onları bulamadığımızı da bilmiyorum.

— andrewH

İlginç. Aynı parametrik ailede posteriordan önce posteri taşıyan operatörün bir özelliği olarak görülebilir. Belki de daha ilginç olanı, üçlünün kapatma özelliği olarak görülebilir (önceki dağıtım, örnekleme dağıtımı, Bayes güncelleme operatörü).

— JohnRos

@JohnRos. Düşünme şeklini beğeniyorum.

— andrewH

Açılış konuşmanızla ilgili olarak, tüm kütleyi parametre uzayının tek bir değerinde tutan önemsiz önceki durumlara dikkat edin (çıkarım yapmak için pek kullanışlı değil, değil mi?). Bayes'in Teoremi, bunların her model için birleşik öncelikler olduğunu göstermektedir. Tabii ki, "sabit fikirleri" olan birinin önceki bilgilerini temsil ediyorlar.

— Zen,

Yanıtlar:

Kazara değil. Burada eşlenik öncelikler üzerine çok güzel bir inceleme bulacaksınız. Somut olarak, verilen olasılık işlevi için yeterli miktarda bir kümelenmiş boyut istatistiği varsa, ondan önce bir eşlenik kurabileceğinizi belirtmektedir. Yeterli istatistik kümesine sahip olmak , olasılığını, parametreleri hesaplamalı olarak verimli bir şekilde tahmin etmenize izin verecek biçimde formüle edebileceğiniz anlamına gelir.

Bunun yanı sıra, eşlenik önceliklere sahip olmak sadece hesaplama açısından uygun değildir. Ayrıca yumuşatma sağlar ve çok az sayıda örnekle çalışmanıza izin verir veya çok az sayıda kanıt bulunduğunuz durumlarda karar verme gibi problemler için gerekli olan önceki örneklerle çalışmaz.

— jpmuc
kaynak

Bayesian istatistiklerinde çok yeniyim, ancak bana bu dağıtımların hepsinin (ve hepsi olmasa da en azından faydalı olanların), onları tanımlayan gözlemlerle ilgili sınırlı bir metrik tarafından tarif ettikleri özelliği paylaştığı anlaşılıyor. . Yani normal bir dağılım için, her gözlemle ilgili her ayrıntıyı, sadece toplam sayımını ve toplamını bilmek zorunda değilsiniz.

Başka bir deyişle, dağıtım sınıfını / ailesini zaten bildiğinizi farz edersek, dağıtım, bununla sonuçlanan gözlemlerden daha entropi bilgisini kesinlikle düşürmüştür.

Bu önemsiz görünüyor mu, yoksa aradığınızı mı?

— Fabio Beltramini
kaynak

Hangi özelliklerin "derin" olduğu çok öznel bir konudur! bu nedenle cevap sizin "derin" konseptinize bağlıdır. Ancak, eğer eşlenik önceliklere sahip olmak, bir anlamda "derin" bir özellik ise, bu anlamda matematikseldir ve istatistiksel değildir. (Bazı) istatistikçilerin eşlenik önceliklere ilgi duymasının tek nedeni, bazı hesaplamaları basitleştirmeleridir. Ancak bu geçen her gün için daha az önemlidir!

 EDIT

Aşağıdaki @whuber yorumuna cevap vermeye çalışıyorum. İlk olarak, bir cevabın daha net bir şekilde sorulması gerekir; Örnekleme altında kapalı olan bir aile anlamına gelir, yani (verilen örnekleme modeli için), önceki ve posterior dağılımları aynı aileye aittir. Bu, tüm dağıtımların ailesi için açıkça doğrudur , ancak bu yorum soruyu içeriksiz bırakmaktadır, bu yüzden daha sınırlı bir yoruma ihtiyacımız var. Furteh ile sivri dışarı olarak Diaconis ve Ylvisaker biz izin ise, binomial model için, üzerinde sınırlanmış pozitif fonksiyonu ve olarak p yoğunluğunun $h$ $[0,1]$ $f(p;\alpha,\beta)$ $h(p)f(p;\alpha,\beta)$ önceki bir konjugattır. Önceden bilinen beta konjugatının bazı özelliklerinden yoksundur, ancak ürettiği aile örnekleme altında kapanır, bu yüzden bir konjugat önceliğidir. Güzel kapalı formüller almıyoruz, ancak normalleştirme sabitini elde etmek için yalnızca bir sayısal entegrasyona ihtiyacımız var.

Şimdi, normal beta önceki yoğunluğun bir başka önemli özelliği daha var: beklenti doğrusal bir fonksiyon: (bazıları için ). Karşılık gelen özellik, üssel ailelerde "olağan" eşlenik öncelikler için geçerlidir , bkz. Diaconis & Ylvisaker . Dolayısıyla, bu anlamda, olağan conjuage aileleri, klasik istatistiklerde Gauss-Markov teoremine benzeyen bayesyen istatistiklerde rol oynar (bkz . Lineer Regresyonda Gauss-Markov Teoreminin Rolü ): lineer metotlar için bir gerekçedir.

E {E (θ ∣ X = x)} = a x + b

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

Her zamanki eşlenik ailelere yol açan başka bir bakış açısı var. Eğer önceki bilgileri bazı önceki verilerden (aynı örnekleme dağıtım ailesinden) gelen bilgileri temsil ediyorsak , o zaman bu bilgiyi bir önceki olabilirlik fonksiyonu olarak dahil edebiliriz . Daha sonra önceki olabilirliği veri olabilirliği ile çarparak bir olabilirlik fonksiyonunu birleştirebiliriz. Bunun yerine, önceki veri bilgilerini önceki bir dağıtım yoluyla temsil etmeyi seçebiliriz, "olağan" konjugat önceki, yukarıdaki birleşik olabilirlikle orantılı bir veren seçimdir . Bu yorumlamanın vermek için kullanıldığı https://en.wikipedia.org/wiki/Conjugate_prior adresine bakın. $\text{prior}\times\text{likelihood}$ Listelenen (her zamanki gibi) konjuge ailelerin parametrelerine önceki veri yorumları .

Dolayısıyla, özetlemek gerekirse, üssel ailelerde olağan eşlenik familyalar, lineer yöntemlere öncülükler olarak veya önceki verileri temsil etmekten önce gelenler olarak haklı gösterilebilir. Bu genişletilmiş cevap yardımcı olur umarım!

— kjetil b halvorsen
kaynak

Bu gerçekten bir yorum, bir cevap değil, kjetil. Bir cevap haline getirilmeli veya bir yoruma çevrilmelidir.

— gung - Reinstate Monica

o görünüyor çünkü @gung ben Bir yoruma bu yanıtı dönüştürmek için isteksiz olabilir bir cevap olarak yorumlanabilir: Bir konjugat varlığı öncesinde ayrı hesaplamalar basitleştirilmesi gelen küçük öneme sahip olduğunu ileri sürer. (O iddianın geçerliliğini tartışmaya nedenler olabilir inanıyoruz, ama yanlış olma cevap vermiyor aynı değildir!)

— whuber

@whuber: İşlemsel basitlik dışında nedenleri hakkında ne düşünüyorsunuz? Anserde genişletmeye çalışacağım ...

— kjetil b halvorsen

Çünkü bir ilişkinin açık bir matematiksel formülasyonu analiz edilebilecek ve anlaşılabilecek bir şeydir, oysa sadece hesaplamalı bir sonuç tam da budur - sonuç, genel olarak genelleştirilebilir bir içgörü sağlamayan bir sonuçtur. Sürüş yönleri verebilecek yalnızca sesli bir GPS cihazına sahip olmakla karşılaştırıldığında, üzerinde çalışabileceğiniz ve öğrenebileceğiniz bir ülkenin haritasına sahip olmak arasındaki fark gibi. Her ikisi de sizi bir noktadan diğerine götürecek, ancak birincisi size sürüş yaptığınız alan hakkında çok daha fazla şey söyleyecektir.

— whuber