Bayes tahmincisi, gerçek parametrenin öncekinin olası bir değişkeni olmasını gerektirir mi?

Bu biraz felsefi bir soru olabilir, ama işte başlıyoruz: Karar teorisinde bir Bayes tahmincisi riski $\hat\theta(x)$ için $\theta\in\Theta$ önceki bir dağılımla ilgili olarak tanımlanır $\pi$ üzerinde $\Theta$ .

Şimdi, bir yandan, gerçek için $\theta$ veri üretmiş olmak (yani "mevcut"), $\theta$ altında olası bir değişken olmalı $\pi$ örneğin sıfır olmayan olasılık, sıfır olmayan yoğunluk vb. diğer yandan, $\theta$ bilinmemektedir, bu nedenle öncekinin seçimi, bu yüzden gerçek $\theta$ altında olası bir $\pi$ Seçtik.

Şimdi bana öyle geliyor ki bir şekilde $\pi$ öyle ki $\theta$ olası bir değişiklik olabilir. Aksi takdirde, bazı teoremler geçerli olmazdı. Örneğin, minimax tahmini, en az uygun olana yönelik bir Bayes tahmini olmayacaktır, çünkü etraftaki büyük bir bölgeyi hariç tutarak ve $\theta$ etki alanından. Ancak, bunu garanti etmek $\theta$ gerçekten de etki alanında elde etmek zor olabilir.

Yani sorularım:

Genellikle gerçek $\theta$ olası bir çeşididir $\pi$ ?
Bu garanti edilebilir mi?
Bunu ihlal eden vakalar en azından bir şekilde tespit edilebilir mi, bu yüzden koşullar geçerli olmadığında minimak gibi teoremlere güvenmez mi?
Gerekmiyorsa, karar teorisindeki standart sonuçlar neden geçerli?

— user32849
kaynak

Yanıtlar:

Çok güzel bir soru! Gerçekten de "iyi" bir önceki dağılımın "doğru" parametreye pozitif olasılık veya pozitif yoğunluk değeri vermesi mantıklı olacaktır $\theta_0$ ancak tamamen kararlı bir perspektiften bunun böyle olması gerekmez. Bu "sezgi" ye basit bir karşı örnek

π (θ_{0}) > 0

$\pi(\theta_0)>0$ ne zaman gerekli olmalı

π (\cdot)

$\pi(\cdot)$ önceki yoğunluk ve

θ_{0}

$\theta_0$ parametrenin "gerçek" değeridir, Casella ve Strawderman'ın (1981) mükemmel minimoksite sonucudur : Normal bir ortalama tahmin edilirken

μ

$\mu$ tek bir gözlem üzerine

x \sim N (μ, 1)

$x\sim{\cal N}(\mu,1)$ ek kısıtlama ile

| μ | < ρ

$|\mu|<\rho$ , Eğer

ρ

$\rho$ yeterince küçük,

ρ \leq 1.0567

$\rho\le 1.0567$ spesifik olarak, minimax tahmincisi, daha önce (en az elverişli) üniformaya karşılık gelir.

{- ρ, ρ}

$\{-\rho,\rho\}$ , anlamında

π

$\pi$ eşit ağırlık verir

- ρ

$-\rho$ ve

ρ

$\rho$ (ve ortalamanın başka herhangi bir değeri için hiçbiri

μ

$\mu$ )

π (θ) = \frac{1}{2} δ_{- ρ} (θ) + \frac{1}{2} δ_{ρ} (θ)

$\pi(\theta)=\frac{1}{2}\delta_{-\rho}(\theta)+ \frac{1}{2}\delta_{\rho}(\theta)$ Ne zaman

ρ

$\rho$ en az olumlu olanı artırır, desteğinin arttığını görür ancak sonlu olası değerler kümesi kalır. Ancak posterior beklentiler,

E [μ | x]

$\mathbb{E}[\mu|x]$ , üzerinde herhangi bir değer alabilir

(- ρ, ρ)

$(-\rho,\rho)$ .

Tartışmanın özü (yorumlara bakınız), Bayes tahmincisinin, $\pi(\cdot)$ , özellikleri oldukça farklı olurdu.

Benzer şekilde, kabul edilebilir tahmin ediciler dikkate alındığında, kompakt bir sette uygun bir öncekiyle ilişkili Bayes tahmin edicileri, sınırlı bir desteğe sahip olmalarına rağmen, genellikle kabul edilebilir.

Her iki durumda da, sıklık kavramı (minimumluk veya kabul edilebilirlik), parametrenin "gerçek" değerinde (4. soruya bir cevap getirir), örneğin posterior riske bakmak yerine, olası parametre aralığı üzerinde tanımlanır.

\int_{Θ} L (θ, δ) π (θ | x) d θ

$\int_\Theta L(\theta,\delta) \pi(\theta|x)\text{d}\theta$ veya Bayes riski altında

\int_{X} \int_{Θ} L (θ, δ) π (θ) f (x | θ) d θ d x

$\int_{\cal X}\int_\Theta L(\theta,\delta) \pi(\theta)f(x|\theta)\text{d}\theta\text{d}x$ gerçek değeri içermez

θ_{0}

$\theta_0$ .

Ayrıca, yukarıdaki örnekte belirtildiği gibi, Bayes tahmincisi arka ortalama gibi resmi bir ifade ile tanımlandığında

{\hat{θ}}^{π} (x) = \int_{Θ} θ π (θ | x) d θ

$\hat{\theta}^\pi(x)=\int_\Theta \theta\pi(\theta|x)\text{d}\theta$ ikinci dereceden (veya

L_{2}

$L_2$ ) kayıp, bu tahminci desteği dışında değerler alabilir

π

$\pi$ bu destek dışbükey değildir.

Bir yana, okurken

gerçek θ'nin veri üretmesi için (yani "var"), θ, π altında olası bir değişken olmalıdır, örneğin sıfır olmayan bir olasılık, sıfır olmayan bir yoğunluğa sahip olmalıdır

Bir öncekinin anlamının yanlış temsil edildiğini düşünüyorum. Önceki dağılımın, parametre değerini gören gerçek bir fiziksel (veya gerçek) mekanizmayı temsil etmesi beklenmemektedir. $\theta_0$ tarafından oluşturuldu $\pi$ ardından bir gözlem $x$ tarafından oluşturuldu $f(x|\theta_0)$ . Birincisi, parametre alanı hakkında önceden bilgi ve parametre hakkındaki öznel inançları içeren ve hiçbir şekilde benzersiz olmayan bir referans ölçüsüdür. Bir Bayes analizi her zaman bu Bayes analizini yapmak için önceden seçilen ile ilişkilidir. Bu nedenle, gerçek parametrenin aşağıdakilerin desteğine ait olması için mutlak bir gereklilik yoktur. $\pi$ . Açıkçası, bu destek kompakt bağlantılı bir set olduğunda, ${\mathscr A}$ , parametrenin küme dışındaki herhangi bir değeri ${\mathscr A}$ posterior ortalama ile tutarlı bir şekilde tahmin edilemez $\hat{\theta}^\pi$ ancak bu, tahmin edicinin kabul edilebilir olmasını bile engellemez.

— Xi'an
kaynak

Son noktanla ilgili olarak, beni şaşırtan şey budur:

μ

$\mu$ yeterince küçük bir negatif sayı olmak. Eğer garip bir nedenden ötürü bir günlük-normal koyarsam (destek

[0, + \infty)

$[0,+\infty)$ ) tarihinde

μ

$\mu$ (ne kadar mantıklı olursa olsun), böyle bir önceliğe sahip bir Bayes tahmincisi mutlaka olması gereken minimax tahminden daha kötü olacaktır. Ama belki de burada bir şeyi yanlış yorumluyorum ...

— user32849

Genellikle, en az olumlu olan Berger (1985), minimax riskine karşılık gelir.

— Xi'an

Burada gerçekten kafam karıştı: kitabınız (bölüm 2)

θ \sim π (θ)

$\theta \sim \pi(\theta)$ ve özellikle, teorem 2.4.17'de,

Θ = [- m, m]

$\Theta=[-m, m]$ burada, en az olumlu olan,

Θ

$\Theta$ . Ama sanırım sayfa 10'u daha dikkatli

— okumalıydım

Entegre risk hiçbir aşamada "true" parametresini içermez. Yani bu anlamda önemli değil.

— Xi'an

Dolayısıyla, bir anlamda, risk gerçekte yaşadığımız kaybı değil, beklediğimiz kaybı yakalar. Bu çok yardımcı oldu, çok teşekkür ederim!

— user32849

Evet, genellikle doğru olanın $\theta$ öncekinin alanında. Durumun böyle olduğunu görmek istatistikçi sorumluluğundadır.
Genellikle, evet. Örneğin, bir ortalama veya konum parametresini tahmin ederken, $(-\infty, \infty)$ etki alanında gerçek değere sahip olur. (Parametrenin sıfırdan büyük olduğu biliniyorsa, örneğin "Körfez Köprüsü'ndeki günlük ortalama trafik kazası sayısı", öncekinin negatif değerler içermesi gerekmez.) Bir olasılık tahmin edersek, öncesinde $[0,1]$ etki alanında gerçek değere sahip olur. Bir varyans terimiyle bir önceki değer oluşturuyorsak, $(0, \infty)$ kendi alanında gerçek değere sahip olacak ... vb.
Posteriorunuz öncekinin etki alanının bir kenarında "yığılmışsa" ve öncekiniz aynı kenardaki etki alanına gereksiz bir kısıtlama getiriyorsa, bu gereksiz kısıtlamanın size sorunlara neden olabileceğini gösteren geçici bir göstergedir. Ancak bu yalnızca a) formu, gerçek ön bilgi yerine büyük ölçüde kolaylık tarafından yönlendirilen bir önceliği inşa ettiyseniz ve b) öncekinin kolaylık kaynaklı formu, parametrenin etki alanını, doğal "etki alanı olarak kabul edilebilir.

Bunun bir örneği, potansiyel hesaplama güçlüklerinden kaçınmak için öncekini sıfırdan biraz uzakta bir varyans terimine bağlama eski, umarım uzun süredir kullanılmayan bir uygulamadır. Varyansın gerçek değeri bağlı ve sıfır arasındaysa, iyi ... ama aslında verilerde verilen varyansın potansiyel değerleri hakkında düşünmek veya (örneğin) önceliği bunun yerine varyans günlüğüne koymak, Bu sorundan kaçınmanız gerekir ve benzer hafif zeka, genel olarak alan sınırlayıcı önceliklerden kaçınmanıza izin vermelidir.

Yanıtlayan # 1.

— jbowman
kaynak

Kim cevap vermezse onu reddetti - neden "yararlı değil"?

— jbowman

Basit, sezgisel cevap olmasıdır öncesinde hakkında ön bilgi yansıtır $\theta$ ve sahip olmanız gereken asgari bilgi, onun alanıyla ilgilidir. Önceden sınırlı kullanırsanız, sınırların dışındaki değerlerin sıfır olasılığa sahip olduğunu, imkansız olduğunu ve iyi bir gerekçe olmadan yapılmaması gereken çok güçlü bir varsayım olduğunu varsayarsınız. Bu yüzden güçlü ön varsayımlar yapmak istemeyen insanlar, $-\infty$ için $\infty$ .

Sınırlı davanın yanı sıra, numuneniz büyüdüğünde veya daha kesin olarak daha fazla bilgi ilettiğinde, posteriorunuz nihayet $\theta$ ne olursa olsun .

— Tim
kaynak