Jeffrey'ler neden önceden faydalıdır?

61

Jeffrey’in önceliğinin yeniden parametreleştirme altında değişmez olduğunu biliyorum. Ancak anlamadığım şey, bu özelliğin neden istendiği.

Değişkenlerin değişimi altında neden önceliğin değişmesini istemiyorsunuz?

bayesian prior

— tskuzzy
kaynak

3

Olası ilgi alanı: Jeffrey'lerin öncelikleri neden bilgi verici değildir? .

30

Zen'in cevabını tamamlayayım. "Cehaleti temsil etme" kavramını pek sevmiyorum. Önemli olan, Jeffrey’lerin önceki değil, Jeffrey’lerin arkadakileri . Bu posterior, verilerin getirdiği parametreler hakkındaki bilgileri olabildiğince iyi yansıtmayı amaçlamaktadır. Değişmezlik özelliği, aşağıdaki iki nokta için doğal olarak gereklidir. Örneğin bilinmeyen oran parametresi ve odds parametresi olan binom modelini göz önünde bulundurun . $\theta$ $\psi=\frac{\theta}{1-\theta}$

Jeffrey'lerin posteri verilerden elde edilen hakkındaki bilgileri en iyi şekilde yansıtır . ve arasında bire bir yazışma var . Ardından, Jeffrey'lerin posterini dönüştürmek (normal değişken değişimleri formülü aracılığıyla) hakkındaki bilgileri en iyi şekilde yansıtan bir dağılım vermelidir . Bu nedenle bu dağılım, Jeffrey’lerin hakkındaki posterioru olmalıdır . Bu değişmezlik özelliği. $\theta$ $\theta$ $\theta$ $\psi$ $\theta$ $\psi$ $\psi$ $\psi$
İstatistiksel bir analizin sonucunu çıkarırken önemli bir nokta bilimsel iletişimdir . Jeffrey’lerin posterini bilimsel bir meslektaşınıza verdiğinizi hayal edin . Ancak yerine ile ilgileniyor . Öyleyse bu değişmezlik özelliği ile ilgili bir sorun değildir: Değişken değişim formülünü uygulamalıdır. $\theta$ $\psi$ $\theta$

— Stéphane Laurent
kaynak

Ah bu biraz şeyleri temizler. Ancak, odds parametresi için posteriorun oran parametresi için posterior ile aynı olmasının sezgisel olarak iyi bir nedeni var mı? Bu benim için oldukça doğal görünüyor.

— tskuzzy

Aynı değil ! Biri değişkenlerin değişmesi formülü tarafından diğeri tarafından uyarılır. İki parametre arasında bire bir yazışma vardır. Daha sonra, bu parametrelerden birindeki posterior dağılım diğerine posterior dağılımı indüklemelidir.

— Stéphane Laurent

2

(+1) Stéphane. OP, "... aynı olmalı ..." dediğinde kafasının karışmış gibi göründüğünü gösteriyor. İki poster "aynı" değil, ne olduğu, örneğin, Stéphane'nin örneğinde, ; Öndeğerleri (hesaplanmış) önceden kullanarak bu tür bir tutarlılığa sahip değilseniz, öncelikleri biraz çılgınca olur.

P {1 / 3 \leq θ \leq 2 / 3 ∣ X = x} = P {1 / 2 \leq ψ \leq 2 ∣ X = x}

$P\{1/3\leq\theta\leq 2/3\mid X=x\}=P\{1/2\leq\psi\leq 2\mid X=x\}$

— Zen,

1

Bence bu yazıdan eksik olan şey, bir parametre hakkında verilerde çok fazla bilgi olduğunda, önceden kullanılanın gerçekten önemli olmadığıdır. Örneğin, bir üniforma, jeffreys veya haldane kullanıp kullanmadığımızdan önce binom oranı, posterior çok geniş olmadığı sürece çok az fark yaratır. Bu durumda, önceliğin “doğru” olduğu yönündeki akademik bir tartışma biraz, çünkü hiçbir şekilde anlamlı bir sonuç çıkarılamaz. Bilgilendirici olmayan bir önceliğin gerçek değeri birçok boyuttadır, ancak bu sorun çözülmemiştir - Jeffreys önceleri burada kötüdür.

— Olasılık

3

Bu teori eksiktir ve parametre sıralamasına, kompakt bölgenin seçimine ve olasılık fonksiyonuna bağlıdır. Dolayısıyla, örneğin olabilirlik ilkesine uymuyor. Ayrıca, bağımsız olmayan verilere de başvurmak zordur. Ayrıca, Bernardo'nun teorisi sadece 1 boyutlu parametre problemleri için tamamlanmıştır. Muhtemelen şu anda mevcut en iyi yöntem. İyi bir rakip, Jaynes'in dönüşüm grubu yaklaşımıdır.

— olasılık

41

Siz ve bir arkadaşınızın aynı veri kümesini normal bir model kullanarak analiz ettiğini varsayalım. Ortalama ve varyansı parametre olarak kullanarak normal modelin olağan parametreleştirmesini benimsersiniz, ancak arkadaşınız normal modeli değişkenlik katsayısı ve parametreler olarak hassasiyetle (mükemmel bir şekilde "yasal" olan) parametreleştirmeyi tercih eder. Her ikiniz de Jeffrey’in önceliklerini kullanıyorsanız, posterior dağılımınız arkadaşınızın posterior dağılımı, parametrelemesinden sizinkine uygun bir şekilde dönüştürülür. Bu anlamda Jeffrey’lerin önceliğinin “değişmez” olduğu söylenebilir.

(Bu arada, "değişmez" korkunç bir kelimedir; gerçekte demek istediğimiz, aynı tensör hesabı / diferansiyel geometrisi anlamında "kovaryant" olmasıdır, ancak elbette, bu terimin zaten çok iyi kurulmuş bir olasılıksal anlamı vardır. bu yüzden kullanamayız.)

Bu tutarlılık özelliği neden isteniyor? Çünkü eğer Jeffreys 'in önceliği parametrelerin değeri hakkındaki cehaleti mutlak anlamda temsil etme şansına sahipse (aslında, değil, ama "değişmezlik" ile ilgili olmayan diğer nedenler için) ve göreceli olarak belirli bir parametreleştirme Modelde, hangi parametrelere keyfi bir şekilde başlamayı tercih edersek seçelim, afişlerimizin dönüşümden sonra "eşleşmesi" gerektiği durumda olmalıdır.

Jeffrey, önceliklerini inşa ederken bu "değişmezlik" özelliğini düzenli olarak ihlal etti.

Bu yazının , bu ve ilgili konular hakkında bazı ilginç tartışmaları var.

— Zen
kaynak

1

+1: İyi cevap. Ancak, neden Jeffrey’lerin öncüsü parametrelerin değeri hakkındaki cehaleti temsil etmiyor?

— Neil G

4

Çünkü bu bir dağıtım bile değil. Bir dağılımın cehaleti yansıttığını iddia etmek çelişkilidir. Bir dağıtım her zaman bilgileri yansıtır.

— Stéphane Laurent

2

Başka bir referans: projecteuclid.org/…

— Stéphane Laurent

@ StéphaneLaurent: Tek olmalıdır bazı hatta tamamen görmezden gelen bir halde inancını. Posteriorunuz eksi ise, verileriniz tarafından indüklenmiş olma olasılığı ne olursa olsun, bu cehalet durumunda olduğunu varsaydığınız inancıdır. Bu inanca karar verirken saygı gösterilmesi gereken sezgisel ilke, etiketlerin değişmesi (değişmezlik dahil) altında değişmez olması gerektiğidir. Emin değilim, ama bence tek başına prensip (mümkün olan tüm yorumlarda - maksimum entropi, değişmez reparametri vb.) İnancı her zaman belirler.

— Neil G,

Bu nedenle, bir kişi "bir dağılım cehaleti yansıtıyor" derken, bir dağıtımın bu ilke ile uyumlu olduğu anlamına gelir.

— Neil G,

12

Zen'in büyük cevabına bazı alıntılar eklemek için: Jaynes'e göre, Jeffrey'lerin öncüsü kayıtsızlık ilkesinden kaynaklanan dönüşüm gruplarının ilkesine bir örnektir:

İlkenin özü sadece: (1) bir olasılık atamasının belirli bir devlet bilgisini tanımlamanın bir aracı olduğunu kabul ediyoruz. Mevcut kanıtlar bize önerme düşünün için hiçbir neden verirse (2) fazla veya daha az olasılıkla : sonra tek dürüst yönlü biz bilginin devlet onlara eşit olasılıkları değerlendirmeye olduğunu tarif edebilir . Diğer herhangi bir prosedür, etiketlerin yalnızca değişmesiyle, bilgi durumumuzun aynı olduğu ancak farklı olasılıklar verdiğimiz yeni bir problem yaratabileceğimiz anlamıyla tutarsız olacaktır . $A_1$ $A_2$ $p_1=p_2$ $(1, 2)$

Şimdi sorunuzu cevaplamak için: “Neden bir değişken değişikliği altında değişiklik yapmayı istemezsiniz?”

Jaynes'e göre, parametreleştirme başka türden bir keyfi etikettir ve birincisi “etiketlerin yalnızca değişmesiyle, bilgi durumumuzun aynı olduğu ancak farklı olasılıklar verdiğimiz yeni bir problem ortaya çıkarabilir. ”

— Neil G
kaynak

2

Jaynes bana biraz mistik görünüyor.

— Stéphane Laurent

@ StéphaneLaurent: Belki o zamanlar çok kolay bir şekilde çevrilebildim! Ancak şunu çok ikna edici buldum: ET Jaynes, “Maksimum Entropi'nin Neresinde Duruyoruz?”, En Yüksek Entropi Formalizmi, R. Levine ve M. Tribus, Eds. Cambridge, MA, ABD: MIT Press, 1979, sayfa 15–118.

— Neil G

2

Xian, Jaynes'i öven bir posta aldı: ceremade.dauphine.fr/~xian/critic.html Fransızca okumazsanız yazık, bu posta hem korkutucu hem de eğlenceli. Yazar, Bayesian istatistikleri hakkında çok fazla düşünerek çıldırmış görünüyor;)

— Stéphane Laurent

1

@ StéphaneLaurent: Şimdi oku. Bu kesinlikle doğrudur: "sayfa 508", çoğu deneyin tekrarlanamayanlığı "à quoi bon ensuite", en uygun faydam prosedürleri için arama "sayfa 512? S en plentart des problèmes ne peuvent donc pas ètre traités parc procédures for frenterst "choix Bayésien" le ilgili yorum yapmak için hemen hemen parantez almayı unutma, daha önce haber vermeme, aklınıza gelmeme, tembellik yapma (p. 517-518)? quune poune 'un en iyisidir!

— Neil G,

1

Ayrıca: "Le Principe du Maximum d'Entropie, temel öznitelikli bir temize dayanmazsa, bu konuda yeterli bir sonuç vermeyecek, bu arada, daha önce bir pazarlık yapıp, pazarlık edip etmeyeceğiniz kesin bir sonuç ortaya çıkacaktır. ensuite d´ifier 'ı permete edeceğiz Théorie de l'Information, Mécanique Statistique, Thermodynamique… "de benim pozisyonumu açıklıyor. Bununla birlikte, yazarın aksine, başkalarını bu kadar doğal bulduğumu kabul etmeye ikna eden saatler ayırmaya hiç ilgi duymuyorum.

— Neil G,

4

Çoğu zaman ilgi çekici olmakla birlikte, yalnızca diğer önceleri ölçmek için önceden bir referans oluşturmak için, Jeffreys öncelikleri, örneğin yanlış posteriorlara yol açtıklarında olduğu gibi tamamen işe yaramaz olabilir: bu, örneğin basit iki bileşenli Gauss karışımı tüm parametreleri bilinmiyor. Bu durumda, kaç gözlem bulunup bulunmadığına bakılmaksızın önceki Jeffreys posteri mevcut değildir. (İspat Clara Grazian ile birlikte yazdığım son bir makalede mevcuttur .)

p N (μ_{0}, σ_{0}^{2}) + (1 - p) N (μ_{1}, σ_{1}^{2})

$p\mathcal{N}(\mu_0,\sigma_0^2)+(1-p)\mathcal{N}(\mu_1,\sigma_1^2)$

— Xi'an
kaynak

-2

Jeffreys önceki işe yaramaz . Bunun nedeni ise:

Sadece dağıtımın şeklini belirtir; parametrelerinin ne olması gerektiğini söylemez.
Asla tamamen cahil değilsin - parametre hakkında her zaman bildiğin bir şey var (ör. Çoğu zaman sonsuz olamaz). Önceden bir dağıtım tanımlayarak çıkarımınız için kullanın. Hiçbir şey bilmediğini söyleyerek kendine yalan söyleme.
"Dönüşüm altında değişmezlik" istenen bir özellik değildir. Olasılığınız dönüşüm altında değişiyor (örneğin, Jacobian tarafından). Bu, "yeni problemler" yaratmaz, Jaynes temposu . Neden öncek aynı muamele görmemeli?

Sadece kullanmayın.

— bys
kaynak

1

Eh? Olasılık bir yoğunluk değildir ve yeniden

— canlandırılması