Bilgi vermeyen önceki teorinin tarihi

Bilgilendirici olmayan öncelikleri hakkında Bayesian İstatistik kursu için kısa bir teorik makale yazıyorum (Ekonomi Yüksek Lisansında) ve bu teorinin gelişiminde hangi adımların olduğunu anlamaya çalışıyorum.

Şimdiye kadar zaman çizelgem üç ana adımdan oluşuyor: Laplace'in kayıtsızlık ilkesi (1812), Değişmeyen Önceler (Jeffreys (1946)), Bernardo referansı (1979).

Literatür taramamdan, kayıtsızlık ilkesinin (Laplace), önceden bilgi eksikliğini temsil eden ilk araç olduğunu anladım, ancak eksik değişmezlik gereksinimi, Jeffrey’lerin yöntemini tanıttığı 40’lara kadar terk edilmesine yol açtı. değişmezliğin istenen özelliği. Marjinalleşmenin paradokslarının ortaya çıkması, 70'li yıllardaki uygunsuz kullanım nedeniyle, bu konuyla başa çıkmak için önceki teorisini detaylandırmak için Bernardo'yu zorladı.

Literatür okumak, her yazarın farklı katkılarda bulunduğunu gösteriyor: Jaynes'in maksimum entropisi, Box ve Tiao'nun veriye çevrilmiş olasılığı, Zellner, ...

Sizce, kaçırdığım önemli adımlar nelerdir?

EDIT : Birisi gerekirse, (ana) referanslarımı ekliyorum:

1) Resmi kurallara göre öncelik seçimi, Kass, Wasserman

2) Bilgilendirici öncelikli olmayan bir katalog, Yang, Berger

3) Bilgilendirici Olmayan Bayezliler Yorum ve Öncelikle Yapım ve Uygulamalarla İlgili Sorunları Önermektedir

Kaçırdığın şey erken tarih. Makaleyi Fienberg (2006) tarafından kontrol edebilirsiniz. Bayesian Çıkarımı "Bayesian" Oldu mu? . İlk olarak, daha önce üniforma kullanmayı öneren Thomas Bayes'in ilk olduğunu fark etti:

Şu anki istatistiksel dilde, Bayes 'in makalesi binom parametresi üzerinde , "bilardo masası" ile benzetme ve binom rasgele değişkeni marjinal dağılımının formunu çizme üzerine tekdüze bir dağıtım sunar . Diğerlerinin iddia ettiği gibi "yetersiz sebep".$\theta$

Pierre Simon Laplace bunu tartışacak bir sonraki kişiydi:

Laplace ayrıca, Bayes'ten daha net bir şekilde, daha önce eşit bir dağıtım seçimi için argümanını dile getirerek, parametresinin arka dağılımının savundu;$\theta$

$$f(\theta\mid x_1,x_2,\dots,x_n) \propto f(x_1,x_2,\dots,x_n\mid\theta)$$

$\theta$

Ayrıca, Carl Friedrich Gauss, David ve Edwards (2001) tarafından , İstatistik Tarihinde Açıklamalı Okumalar kitabında belirtildiği gibi, daha önce bilgilendirici olmayan bir kullanmaya da değindi :

$h$

$$f(h|x) \propto f(x|h)$$

$h$$[0, \infty)$

Fienberg'in (2006) farkettiği gibi, “ters olasılık” (ve bundan sonra, üniforma önceliklerini kullanarak) 19. yüzyılın başlarında popülerdi

$t$$\mu$$\mu$$h =\sigma^{-1}$

Bayesian yaklaşımının ilk tarihi, kitabında Stigler (1986) tarafından da incelenmiştir . İstatistiğin tarihi: 1900'den önceki belirsizliğin ölçülmesi .

Kısa derlemenizde, Ronald Aylmer Fisher'dan bahsetmiyorsunuz (yine Fienberg, 2006'dan alıntı):

Fisher ters yöntemlerden uzaklaştı ve “olasılık” olarak adlandırdığı çıkarım konusundaki kendi yaklaşımına yöneldi. Ancak Fisher'ın bu konuda ilerlemesi yavaştı. Stigler (164), 1916'dan gelen yayınlanmamış bir el yazmasında, Fisher'in daha önce bu anda anladığını öne sürdüğü ayrımcılığa rağmen, düz bir olasılıkla ters olasılık arasındaki farkı ayırt etmediğini belirtti.

Jaynes (1986), Bayesian Methods: General Background adlı kısa bir bildiri makalesini sunmuştur . Kontrol edebileceğiniz bir Giriş Öğreticisi , ancak bilgi vermeyen önceliklere odaklanmıyor. Dahası, AdamO tarafından belirtildiği gibi , Stigler (2007) tarafından yazılan En Büyük Olasılığın Epik Hikayesini kesinlikle okumalısınız .

“Bilgilendirici bir öncek” diye bir şeyin olmadığını da belirtmek gerekir , bu yüzden birçok yazar “belirsiz öncelikler” veya “haftalık bilgilendirici öncelikler” hakkında konuşmayı tercih eder .

Bilgilendirici olmayan önceliklerin kullanımının genişletilmiş bir tartışması ile, öncelikli seçim konusunda daha fazla ayrıntıya giren, resmi kurallarla önceden yapılan dağıtımların seçiminde Kass ve Wasserman (1996) tarafından teorik bir inceleme yapılmıştır .

Bilgilendirici olmayan önceliklerin kusurları hakkında bir kaç yorum (bilgi vermeyen öncelikler) muhtemelen iyi bir fikirdir, çünkü bu tür kusurların araştırılması tarihte önceden bilgisiz olan kavramının geliştirilmesine yardımcı olmuştur.

Bilgilendirici olmayan önceleri benimsemenin sakıncaları / kusurları hakkında bazı yorumlar eklemek isteyebilirsiniz. Birçok eleştirinin arasında ikisine işaret ediyorum.

(1) Genel olarak bilgi vermeyen önceliklerin benimsenmesi, özellikle model dağılımının çok modlu davranışa sahip olması durumunda tutarlılık problemleri vardır.

Bu sorun bilgi vermeyen önceliklere özgü değildir, ancak tartışmalar ile birlikte aşağıdaki makalede belirtildiği gibi diğer birçok Bayesian prosedürü ile paylaşılmaktadır.

Diaconis, Persi ve David Freedman. "Bayes tahminlerinin tutarlılığı hakkında." Yıllık İstatistikler (1986): 1-26.

Günümüzde, bilgi vermeyen önceliği artık bir araştırma odağı değil. Parametrik olmayan ortamlarda önceki daha esnek seçeneklere daha fazla ilgi var gibi görünüyor. Örnekler, parametrik olmayan Bayes prosedüründeki önceki Gauss işlemi veya Dirichlet öncüllerinin bir karışımı gibi esnek bir modeldir.

Antoniak, Charles E. " Bayich parametrik olmayan sorunlara uygulamalarla Dirichlet işlemlerinin karışımları." İstatistiklerin yıllıkları (1974): 1152-1174.

Fakat yine de böyle bir öncekin kendi tutarlılık problemleri vardır.

(2) Çoğu "bilgi vermeyen öncelikler" olarak adlandırılan pek iyi tanımlanmamıştır.

Bu muhtemelen, gelişmeleri sırasında bilgi vermeyen öncekilerle ilgili en belirgin problemdir.

Bir örnek, uygun olmayan önceliğin bir limiti olarak önceden bilgilendirici olmayan sınır tanımının, marjinalleşme paradoksuna yol açacağıdır. Bahsettiğiniz gibi, Bernardo'nun referansı daha önce Berger'in resmi tanımının inşaat / bölümden bağımsız olduğunu asla kanıtlamadığı bir problemi de var. Tartışmaya bakınız.

Berger, James O., José M. Bernardo ve Dongchu Sun. "Referansın resmi tanımı öncelikli." İstatistiklerin Annals (2009): 905-938.

Jeffrey'lerin önceden tanımlanmış olanı hakkında en iyi tanımı, Fisher bilgi metriği ile donatılmış Riemann manifoldu üzerinde belirli bir paralel çeviri altında değişmez olduğu, ancak ilk sorunu çözmediği için bir öncek olarak seçilmesidir.

Ayrıca, marjinalleşme paradoksu hakkındaki açıklamamı okumak isteyebilirsiniz .

Yorumlarda yer alırdım, ancak sanırım henüz bir üne sahip değilim. Önceden işaretlenmiş olan yorumlardaki eksik olan tek şey, kökenlerini avlamaya çalıştığım ve bulamadığım özel olmayan, öncül olmayan bir durumdur. Jeffrey'in gazetesinden önce gelebilir.

Normal dağılım için, normal olasılığı olan veriler için önceden bilgilendirici olmayan kullanılan Cauchy dağılımını gördüm. Bunun nedeni, Cauchy dağılımının kesinliğinin sıfır olması, hassasiyetin bir varyansa bölünmesidir. Kendine özgü bir çelişkili kavramlar kümesi yaratır.

İntegrali nasıl tanımladığınıza bağlı olarak, tanımlanmış bir sapma yoktur veya medyan hakkında sonsuzluğa gider, bu da hassasiyetin sıfıra gittiğini gösterir. Burada geçerli olmayan konjugat güncellemesinde, ağırlıklı hassasiyeti eklersiniz. Bence bu, kesin olarak kesin olmayan bir yoğunluğa sahip bu önceden uygun bir fikir oluşumu. Aynı zamanda, Öğrenci'nin t'ye de kaynak olabilecek bir serbestlik derecesine eşittir.

$2\Gamma$

Cauchy dağılımına yapılan en erken iki referans, olasılık fonksiyonları gibidir. Merkez Sınır Teoremine bir istisna olarak Poisson’dan Laplace’e bir mektup. İkincisi, 1851 tarihli Bienayme 've Cauchy arasında sıradan en küçük karelerin geçerliliği konusundaki bir savaşta yazılardı.

1980'li yıllara dönmeden önce bilgisiz olarak kullanımına referanslar buldum, ancak ilk makale veya kitabı bulamıyorum. Ayrıca bunun bilgisiz olduğuna dair bir kanıt bulamadım. Jeffrey’lerin 1961’de olasılık teorisi kitabından bir alıntı buldum, ancak kitabı kütüphaneler arası kredi yoluyla asla talep etmedim.

Basitçe zayıf bilgilendirici olabilir. % 99,99'luk en yüksek yoğunluklu bölge 1272 yarı çeyrek arası aralıktadır.

Umut ediyorum bu yardım eder. Bu çok garip bir özel durum, ancak birkaç regresyon makalesinde ortaya çıktığını görüyorsunuz. Bir Bayes eylemi için gereklilikleri uygun bir önceliğe sahip olurken, yeri ve ölçeği minimum düzeyde etkiler.