“Bilgi vermeyen bir öncelik” nedir? Gerçekten hiç bilgiye sahip olmayan birini alabilir miyiz?

73

Bu soruya yapılan bir yorumdan ilham alındı :

Önceden "bilgi vermeyen" olarak ne düşünüyoruz - ve sözde bir bilgi vermeden önceki hangi bilgileri hala içeriyor?

Genelde, önce Bayesian analizinden bazı güzel kısımları ödünç almaya çalışan ya da sıkça yapılan bir analizin önceliğini görüyorum (bu, yapılacak en sıcak şeyi '' yapmak kadar kolay bir yorumlama olabilir mi?); Etki ölçüsünün sınırları boyunca eşit dağılım, 0 merkezli. Ancak öncekine bir şekil verse bile - sadece düz olur.

Kullanmadan önce daha iyi bir bilgisiz var mı?

bayesian prior

— fomite
kaynak

2

Belki de sözde Maksimum Entropi İlkesi'ne bakmanın tadını çıkaracaksınız . Tam bir cevapla bunu genişletmek istemiyorum - Wikipedia makalesi kaliteli görünüyor. Bazı katılımcıların benden daha iyi genişleyeceğinden eminim.

— Elvis

93

[Uyarı: ISBA'nın Hedef Bayes Bölümünün bir kart üyesi olarak, görüşlerim tüm Bayesçi istatistikçilerinin temsilcisi değil!

Özet olarak, "gerçekten hiçbir bilgi" ile bir önceki gibi bir şey yoktur.

Aslında, "bilgi vermeyen" önceki ne yazık ki yanlış bir isimdir. Herhangi bir önceki dağıtım, bir miktar bilgiye benzer bir spesifikasyon içermektedir. Öncelikle üniforma bile (veya özellikle). Nitekim, tek tip önceki sorunun sadece bir parametreleştirilmesi için düzdür. Eğer biri başka bir parametreleştirmeye geçerse (hatta bir tane bile olsa), Jacobian değişken değişimi resme ve yoğunluğa gelir ve birincisi artık düz değildir.

Elvis'in işaret ettiği gibi, maksimum entropi , "bilgi vermeyen" olarak adlandırılan önceleri seçmek için savunulan bir yaklaşımdır. Ancak, (a) yeterli gerektirir bilgiyi bazı anlar üzerinde önsel dağılım içinde kısıtlamaları belirtmek için $h(\theta)$ $\pi(\cdot)$ , önceki MaxEnt değerine yol açar ve (b) referansölçerin ön seçimi [sürekli ayarlarda] , tartışmayı tekrar ilk aşamaya getiren bir seçenek! (Ek olarak, kısıtlamaların parametrelenmesi (yani, seçimi),dahaönceelde edilenMaxEnt'inşeklini etkiler.)

\int_{Θ} h (θ) d π (θ) = h_{0}

$\int_{\Theta} h(\theta)\,\text{d}\pi(\theta) = \mathfrak{h}_0$

π^{*} (θ) α tecrübe {λ^{T} h (θ)}

$\pi^*(\theta)\propto \exp\{ \lambda^\text{T}h(\theta) \}$

d μ (θ)

$\text{d}\mu(\theta)$

h

$h$

José Bernardo , önceki ve poster arasındaki Kullback mesafesini maksimize ederek verilerin getirdiği bilgiyi en üst düzeye çıkarmak için önceliği seçtiği özgün bir referans teorisi üretmiştir. Rahatsız edici parametrelere sahip olmayan en basit durumlarda, çözüm Jeffreys’in önceliğidir. Daha karmaşık problemlerde, (a) çıkar parametrelerinin (veya hatta çıkar düzenlerinin sıralamasının) bir seçimi yapılmalıdır; (b) bir öncekinin hesaplanması oldukça ilgili olup, uygunsuzluk sorunlarından kaçınmak için bir dizi gömülü kompakt set gerektirir. (Ayrıntılar için bkz. Örneğin Bayesian Choice .)

İlginç bir bükümde, Bayesian perspektifi dışındaki bazı araştırmacılar , önceden belirlenmiş bir yapı olmadan frekans tabanlı prosedürlerden ters çevirme veya hatta bu parametre alanı üzerinde hâkim bir ölçü olmadan, parametre alanına olasılık dağılımları olan güven dağılımları adı verilen prosedürler geliştiriyorlar . Sonuç, kesin olarak başlangıçtaki frekans temelli prosedürün seçimine bağlı olmasına rağmen, iyi tanımlanmış bir önceki bu yokluğun bir artı olduğunu savunuyorlar.

Kısacası, önceki "bilgisiz" için "en iyi" (ya da "daha iyi") bir seçenek yoktur. Ve bunun nasıl olması gerektiğine inanıyorum, çünkü Bayesian analizinin doğası, önceki dağıtım seçiminin önemli olduğunu ima ediyor. Ve önceliklerin karşılaştırılması yoktur: biri diğerinden "daha iyi" olamaz. (En azından verileri gözlemlemeden önce: bir kez gözlendiğinde, önceliklerin karşılaştırılması model seçim haline gelir.) José Bernardo, Jim Berger, Dongchu Sun ve diğer birçok "objektif" Bayesanlar'ın sonuçta, kabaca eşdeğer bir referansı olabilir. Birinin önceki bilgilerinden emin olmadığında ya da bir referans Bayesci çıkarımı ararken, bazılarının bir kısmı bilgi teorisi argümanlarıyla kısmen desteklendiğinde,

— Xi'an
kaynak

14

(+1) Kitabınız? Oh lanet. Ben bu yüzden :) sana 387 soru var

— Elvis

4

(+1) Bir amaç için (daha az değil!), Basit cevap.

— kardinal

2

+1 Sorunlarla ilgili iyi ve bilgilendirilmiş bir genel bakış için teşekkür ederiz.

— whuber

2

Olağanüstü bir cevap. Teşekkür ederim. Ve dilek listesine gitmek için başka bir kitap.

— Fomite

1

Neredeyse haksızlık. Sonuçta, o Christian Robert! Şaka yapıyorum. Mükemmel cevap. Ve eğer @ Xi'an'ın bloğundaki bir yayında, özellikle parametrelemenin "bilgi vermeyen" öncelikleri için ne kadar önemli olduğu konusunda genişleyebildiğini çok isterdim.

— Manoel Galdino

16

Resmi bilgi vermeyen öncüllerin çekici bir özelliği "sıklık-eşleştirme özelliği" dir: bir posterior% 95'lik güvenilirlik aralığının da (en azından yaklaşık olarak) frekansçı anlamda% 95'lik bir güven aralığı olduğu anlamına gelir. Bu özellik, bu bilgi içermeyen önceklerin temelleri iyi bir sıklık eşleştirme özelliğinin elde edilmesine yönelik olmamasına rağmen, Bernardo'nun referansı için geçerlidir. o zaman büyük bir varyans ile dağıtım, o zaman sık-eşleşme özelliğinin sahip olduğunun garantisi yoktur. Belki de Bernardo'nun önceki referansı, bilgilendirici olmayan bir önceliğin "en iyi" seçimi olarak değerlendirilemezdi, ancak en başarılısı olarak kabul edilebilirdi.

— Stéphane Laurent
kaynak

9

$(-\infty,\infty)$ $(0,\infty)$ $p$ $\text{d}p/\sqrt{p(1-p)}$ $\pi$ $(0,1)$

$p$ $\text{d}p/p(1-p)$

İlk olarak, çeviri iyi!

E. LHOSTE için: "Le calcul des probabilités apliklerdeki aplike", Revue d'artillerie, tome 91, 1923 yılının ortalarında

A. RENYI için: "Yeni bir aksiyomatik olasılık teorisi üzerine" Acta Mathematica, Académie des Sciences hongroises, VI., Fasc.3-4, 1955

Ekleyebilirim: M. DUMAS: "Lhoste de priori de Lois de probabilité", Science et l'armement, 56, 4ème fascicule, 1982, s. 687-715

— Heymann
kaynak

3

Google Translate gibi otomatik bir çeviri hizmeti ile oldukça zayıf bir şekilde yapılsa bile, İngilizce'yi yeniden yazmanız mümkün mü? Hem Fransızca hem de İngilizce olarak daha akıcı olan diğer kullanıcılar, sizin için kopyalamanın düzenlenmesine yardımcı olabilir.

— Silverfish

3

\log σ

$\log\sigma$

\log p / (1 - p)

$\log p/(1-p)$

(0, \infty)

$(0,\infty)$

(0, 1)

$(0,1)$

(0, \infty)

$(0,\infty)$

(0, 1)

$(0,1)$

R

$\mathbb{R}$

2

\log ()

$\log()$

logit ()

$\text{logit}()$

3

Xi'an'ın mükemmel cevabı ile aynı fikirdeyim, hiçbir bilgi taşıma anlamında "bilgisiz" olmadığına işaret ediyor. Bu konuyu genişletmek için, bir alternatifin kesin olasılık çerçevesi içinde Bayesian analizini üstlenmek olduğunu belirtmek istedim (bkz. Özellikle Walley 1991 , Walley 2000 ). Bu çerçevede, önceki inanç bir dizi olasılık dağılımıyla temsil edilir . $n \rightarrow \infty$

Bu analitik çerçeve Walley tarafından kendi özel olasılıksal analiz şekli olarak aksiyomlaştırılmıştır, ancak esas olarak bir dizi öncek kullanan sağlam Bayesian analizine eşdeğerdir ve karşılık gelen bir posterior kümesi elde edilir. Pek çok modelde, bazı anların (örneğin önceki ortalamanın) tüm olası değer aralığı boyunca değişmesine izin veren "bilgi vermeyen" bir öncelikler seti koymak mümkündür ve bu, yine de, arka anların sınırlandığı değerli posterior sonuçlar üretir. daha sıkı. Bu analiz biçiminin, tartışmasız, en azından izin verilen aralıkları boyunca değişiklik gösterebilecek anlara ilişkin olarak "bilgisiz" olarak adlandırılma iddiası daha iyi bir iddiaya sahiptir.

$X_1,...,X_n | \theta \sim \text{IID Bern}(\theta)$ $\theta$ $\mu$ $\kappa > 1$

\begin{aligned} π_{0} (θ | μ, κ) = Beta (θ | μ, κ) = Beta (θ | α = μ (κ - 1), β = (1 - μ) (κ - 1)) . \end{aligned}

$\begin{equation} \begin{aligned} \pi_0(\theta | \mu, \kappa) = \text{Beta}(\theta | \mu, \kappa) = \text{Beta} \Big( \theta \Big| \alpha = \mu (\kappa - 1), \beta = (1-\mu) (\kappa - 1) \Big). \end{aligned} \end{equation}$

$\mathbb{E}(\theta) = \mu$ $\mathbb{V}(\theta) = \mu(1-\mu) / \kappa$

P_{0} \equiv {Beta (μ, κ) | 0 ⩽ μ ⩽ 1} .

$\mathscr{P}_0 \equiv \Big\{ \text{Beta}(\mu, \kappa) \Big| 0 \leqslant \mu \leqslant 1 \Big\}. \quad \quad \quad \quad \quad$

$s = \sum_{i=1}^n x_i$

P_{x} = {Beta (\frac{s + μ (κ - 1)}{n + κ - 1}, n + κ) | 0 ⩽ μ ⩽ 1} .

$\mathscr{P}_\mathbf{x} = \Big\{ \text{Beta}\Big( \tfrac{s + \mu(\kappa-1)}{n + \kappa -1}, n+\kappa \Big) \Big| 0 \leqslant \mu \leqslant 1 \Big\}.$

Posterior beklenti için olası değerlerin aralığı:

\frac{s}{n + κ - 1} ⩽ E (θ | x) ⩽ \frac{s + κ - 1}{n + κ - 1} .

$\frac{s}{n + \kappa-1} \leqslant \mathbb{E}(\theta | \mathbb{x}) \leqslant \frac{s + \kappa-1}{n + \kappa-1}.$

$n \rightarrow \infty$ $\theta$

— Ben
kaynak

+1. İlginç. Son denklemde kappa nedir? Kappa yıldızı mı olmalı?

— amip

κ

$\kappa$