Bayesanlar: Olasılık fonksiyonunun köleleri?

62

"İstatistiklerin Tümü" adlı kitabında Prof. Larry Wasserman aşağıdaki örneği sunmaktadır (11.10, sayfa 188). Bir yoğunluk sahip olduğunu varsayalım öyle ki $f$ , a,bilinen(negatif olmayan, integre) işlevi ve normalizasyon sabit olduğubilinmemektedir. $f(x)=c\,g(x)$ $g$ $c>0$

Hesaplayamadığımız durumlarda ile ilgileniyoruz . Örneğin, çok yüksek boyutlu bir örneklem uzayında bir pdf olabilir. $c=1/\int g(x)\,dx$ $f$

bilinmemesine rağmen örnek almamıza izin veren simülasyon teknikleri olduğu iyi bilinmektedir . Dolayısıyla, bulmaca şudur: Böyle bir örnekten nasıl tahmin edebiliriz ? $f$ $c$ $c$

Prof. Wasserman aşağıdaki Bayes çözümü anlatılmaktadır: let için bazı ön olmak . Olabilirlik $\pi$ $c$ Bu nedenle, posterior , örnek değerlerine bağlı değildir. Bu nedenle, bir Bayes .Hakkında çıkarımlarda bulunmak için örnekteki bilgileri kullanamaz.

L_{x} (c) = \prod_{i = 1}^{n} f (x_{i}) = \prod_{i = 1}^{n} (c g (x_{i})) = c^{n} \prod_{i = 1}^{n} g (x_{i}) \propto c^{n} .

$L_x(c) = \prod_{i=1}^n f(x_i) = \prod_{i=1}^n \left(c\,g(x_i)\right) = c^n \prod_{i=1}^n g(x_i) \propto c^n \, .$

π (c ∣ x) \propto c^{n} π (c)

$\pi(c\mid x) \propto c^n \pi(c)$

x_{1}, \dots, x_{n}

$x_1,\dots,x_n$

c

$c$

Prof. Wasserman, "Bayesanlar olasılık işlevinin kölesidir. Olabilirlik ters gittiğinde Bayesci çıkarımı olur" diyor.

Yığıcı arkadaşım için sorum şu: Bu özel örnek ile ilgili olarak, Bayesian metodolojisinde (bir şey varsa) neyin yanlış gitti?

PS Prof. Wasserman'ın cevabını nazikçe açıkladığı gibi, örnek Ed George'e bağlı.

bayesian mathematical-statistics

— Zen
kaynak

10

Bu örnek, herhangi bir Bayesian analizinden çok, sayısal bir entegrasyon gerçekleştirmenin tuhaf ve etkisiz bir yoluna benziyor.

— whuber

2

Bayesian’nin

hakkında hiçbir şey bilmediğini nasıl söyleyebilirsiniz ? Bu durum böyle olsaydı biz olurdu

. Açıkça değil.

c

$c$

π (c | x) \propto π (c)

$\pi(c|x)\propto\pi(c)$

— Olasılık

2

g ()

$g()$

c

$c$

c

$c$

g ()

$g()$

a n y

$any$

Ben resmen Bayes yaklaşımı kurduğunuz olabilir Xi'an'ın kontrendikasyon değildir, Zen'in itiraz @ üstesinden ilgi eksikliği ve sadece sayısal entegrasyon doğruluğunu değerlendirmek biter.

— phaneron

1

Larry'nin blogunda güzel bir takip: normaldeviate.wordpress.com/2012/10/05/…

— Zen

43

Bu benim makalemde (sadece internette yayınlanmaktadır) "Larry Wasserman Örneği Üzerine" [ 1 ] ve Wasserman, Robins ve Wasserman'ın blogunda yer alan diğer yorumcular arasında benimle blog yazısında şöyle konuştu : [ 2 ]

Kısa cevap, Wasserman’ın (ve Robins’in) yüksek boyutlu alanlardaki önceliklerin “ilgilenilen parametrenin neredeyse kesin olarak bilinen bir priori olarak bilindiğini ya da açıkça ilgili bir sorunun (seçim yanlılığı) olduğunu ima eden“ olması gerektiğini ”öne sürerek paradokslar üretmesidir. var olmamak neredeyse kesin olarak bilinir. Aslında, mantıklı öncelikler bu özelliklere sahip olmayacaktı. Bunu birlikte çizmek için bir özet blog yazısı yazma sürecindeyim. Wasserman ve Ritov’in Hameling ve Toussaint’in göz önünde bulundurduğu örneklere duyarlı Bayesian yaklaşımlarını gösteren mükemmel bir 2007 makalesi var: “Robins-Ritov’in sorunu için Bayesian tahmincileri” [ 3 ]

— Chris Sims
kaynak

12

Katkılarınız için teşekkürler, Prof. Sims. Cevabımı aşağıda veriyor muyum? PS Şimdi SE'de Nobel Ödülleri veriyoruz. Peki ya bu? nobelprize.org/nobel_prizes/economics/laureates/2011/sims.html

— Zen

1

@ChrisSims Profesör Sims Geldiğiniz ve çok yetkili cevabınızla cevabımı uçurduğunuz için teşekkür ederiz!

— Michael Chernick

4

Bu cevabın toplam oy oranının en yüksek olduğu gerçeğinden endişe duyuyorum (şu an itibariyle). Prof. Wasserman'ın belirttiği gibi, Prof. Sims’in cevabı Zen’in istediğinden tamamen farklı bir bilmece hakkında. Ben birçok insanın Sims'in sağladığı bağlantıları okumadan ve anlamadan bunu lekelediğine inanıyorum.

— Camgöbeği

3

Cyan, Prof. Sim'in bu bilmeceyle ilgili yorumlarını Link [1], WassermanComment.pdf, p. 10, Bölüm VII. Postscript 2.

— madprob

43

$c$

1 / \int_{X} g (x) d x

$1\big/ \int_\mathcal{X} g(x) \text{d}x$

c

$c$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

c

$c$

c

$c$ (Yukarıdaki değerdeki Dirac kütlesi dışında). Bu en azından istatistiksel bir problem değil, sayısal bir problemdir .

$x_1,\ldots,x_n$ $c$

— Xi'an
kaynak

4

Olabilirlik gerçek koşullu bir yoğunluk ise, uygun bir öncelikle başlamak ve uygunsuz bir posterior sona erdirmek mümkün değildir!

— Xi'an,

π

$\pi$

c

$c$

π

$\pi$

X_{1}, X_{2}, \dots, X_{n}

$X_1, X_2, \ldots, X_n$

c

$c$

c

$c$

R

$R$

x = r n o r m (100, c, 1)

$x = rnorm(100,c,1)$

c

$c$

c

$c$

x

$x$

c

$c$

c

$c$

3

Ben de Finetti değilim, bu yüzden ona cevap veremem!

— Xi'an,

3

f (x_{1}, \dots, x_{n} | c)

$f(x_1,\ldots,x_n|c)$

40

Örnek tuhaf olduğuna katılıyorum. Gerçekten bir bilmeceden daha fazlası demek istemiştim. (Örnek aslında Ed George'dan kaynaklanmaktadır.)

$c$ $c$

Her halükarda, kağıt

A. Kong, P. McCullagh, X.-L. Meng, D. Nicolae ve Z. Tan (2003), Monte Carlo entegrasyonu için bir istatistiksel model teorisi , J. Royal Statistic. Soc. B , cilt. 65, hayır. 3, 585–604

(tartışma ile) esas olarak aynı problemi ele alır.

Chris Sims'in cevabında bahsettiği örnek, çok farklı bir nitelikte.

— Larry Wasserman
kaynak

3

Profesör Wasserman Örneğinizi ve tarihini açıkladığınız ve açıkladığınız için teşekkür ederiz. Stanford'da lisansüstü bir öğrenciydim ve Ed George ile üst üste geldim. Stanford İstatistik Bölümü, o zamanlar Bayesli olmayanlardı, ancak Efron ve Stein ile ampirik Bayes'le birlikteydik. Bölüm çok açık fikirliydi ve Dennis Lindley bir yaz okuduğum Bayesian istatistiklerinde yüksek lisans dersi verdi. Bir şekilde Ed tam teşekküllü bir Bayesian olmaya dönüştürüldü ve hatta aptallar için Gibbs örneklemesi üzerine bir yazı bile yazdı (elbette bu unvanla olmasa da).

— Michael Chernick

1

"Tüm İstatistikler" ve "Tüm Parametrik Olmayanlar" kitaplarınızı okumaktan zevk alıyorum.

— Michael Chernick

1

belki de tesadüfen değil, bu makaleyi Kong vd. (2003), grup dönüşümlerinin verimlilikten ziyade ölçüt üzerinde kullanılmasının olumsuz etkililiğini göstermektedir. Son zamanlarda, Xiao-Li beni daha olumlu bir kağıt algısına yöneltti ...

— Xi'an

1

"Sayısal integrali yapamayacağınızı varsayalım." Mantıksal belirsizliğin (ki bunun bir örneği olduğunu) hatırı sayılır çabalara rağmen analize karşı koyduğunu biliyorum.

— John Salvatier

c

$c$

g

$g$

g (x_{1})

$g(x_1)$

g (x_{2})

$g(x_2)$

g

$g$

23

$g:\mathbb{R}\to\mathbb{R}$ $C$ $X_1,\dots,X_n$ $C=c$ $f_{X_i\mid C}(x_i\mid c)=c\,g(x_i)$ $c>0$

$f_{X_i\mid C}(\,\cdot\mid c)$ $c$ $c=\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$ $C$ $C$ $\pi$

$x=(x_1,\dots,x_n)$

L_{x} (c) = \prod_{i = 1}^{n} (c g (x_{i})),

$L_x(c) = \prod_{i=1}^n \left(c\,g(x_i)\right) \, ,$

c

$c$

x

$x$

π (c) = \frac{1}{c^{2}} I_{[1, \infty)} (c) .

$\pi(c) = \frac{1}{c^2} \,I_{[1,\infty)}(c) \, .$

\int_{0}^{\infty} π (c) d c = 1

$\int_0^\infty \pi(c)\,dc=1$

π (c ∣ x) \propto \frac{1}{c^{2 - n}} I_{[1, \infty)} (c) .

$\pi(c\mid x) \propto \frac{1}{c^{2-n}}\, I_{[1,\infty)}(c) \, .$

\int_{0}^{\infty} \frac{1}{c^{2 - n}} I_{[1, \infty)} (c) d c

$\int_0^\infty \frac{1}{c^{2-n}}\,I_{[1,\infty)}(c)\,dc$

n \geq 1

$n\geq 1$

Bu imkansız: Biliyoruz ki, uygun bir önceliğe başlarsak, posteriorumuzun olası her örnek için uygunsuz olamayacağını biliyoruz (bir dizi boş önceden tahmin edilebilirlik olasılığı içinde uygunsuz olabilir).

— Zen
kaynak

^{+}

$^+$

1

Merhaba Michael. Elbette şunları yapabilirsiniz: Gama, Lognormal, vb., Bunun cevabın nasıl bir ilişkisi olduğunu anlamıyorum. Muhtemelen ne dediğini anlamıyorum.

— Zen,

Argümanı takip etmekte sorun yaşıyorum. F için koşullu yoğunluğun sadece bir c için var olduğunu ama bunun doğru olmadığını söylüyorsunuz. Olasılık ifadesinin neden geçersiz olduğunu ve uygun bir önceki ve bir şekilde yanlış bir posterior dağılıma yol açtığını göstererek çelişkiyle nasıl kanıtlandığını anlamıyorum.

— Michael Chernick

Bana öyle geliyor ki konunun özü, verilerin c'den gerçekten bağımsız olduğu ve c hakkında hiçbir bilgi içermediğidir. Bence c'yi içeren bir olasılık işlevi olduğunu söyleyebilirsin, ancak bu olasılık c'nin bir işlevi olarak maksimize edilemez. Her c seçimi için f = cg olduğunu düşünüyorum.

— Michael Chernick

4

g (.)

$g(.)$

g (.)

$g(.)$

p (c | g (.)) = δ (c - \int_{0}^{\infty} g (x) d x)

$p(c|g(.))=\delta(c-\int_{0}^{\infty}g(x)dx)$

p (Z | X Y) \propto p (Z | X)

$p(Z|XY)\propto p(Z|X)$

Y

$Y$

Z

$Z$

X

$X$

11

Örnek biraz tuhaf ve mahkumdur. Olasılığın ters gitmesinin nedeni, g'nin bilinen bir fonksiyon olmasıdır. Bilinmeyen tek parametre, olasılığın bir parçası olmayan c'dir. Ayrıca g bilindiği için, veriler size f hakkında hiçbir bilgi vermez. Uygulamada böyle bir şeyi ne zaman görüyorsunuz? Yani posterior öncekiyle sadece orantılıdır ve c ile ilgili tüm bilgiler öncekindedir.

Tamam ama bir düşünün. Sıklık yapanlar maksimum ihtimal kullanırlar ve bu yüzden sıklık yapan kişiler bazen de olabilirlik işlevine güvenirler. Frekans uzmanı, parametreleri söyleyebileceğiniz diğer yollarla tahmin edebilir. Ancak bu pişirilmiş problem sadece bir c parametresine sahiptir ve c hakkındaki verilerde hiçbir bilgi yoktur. G bilindiği için, veri periyodunun dışına alınabilecek bilinmeyen parametrelerle ilgili istatistiksel bir problem yoktur.

— Michael Chernick
kaynak

c

$c$

\hat{f}

$\hat{f}$

f

$f$

x

$x$

\hat{c} = \hat{f} (x) / g (x)

$\hat{c}=\hat{f}(x)/g(x)$

c

$c$

4

@ Zen Tamam bu örneğe bakalım. Neden hiç veri toplayamıyorsun? Biliyoruz g. Böylece c'yi, herhangi bir şeyi tahmin etmek zorunda kalmadan istediğimiz doğruluk seviyesine göre belirlemek için sayısal olarak bütünleştirebiliriz! C'yi hesaplayamadığımız varsayımı, bu, g'yi x'in bir fonksiyonu olarak bilmemize rağmen onu bütünleştiremeyeceğimiz anlamına gelir! Bence onun örneği zayıf ve tartışma da öyle ve kitaplarının genel olarak konuşmasını seviyorum.

— Michael Chernick

11

$c$

$g()$ $g()$ $g()$ $g()$

$g()$ $g()$

— David Rohde
kaynak

Sürprizin daha fazla oy hakkı olmadığını söyledi. Bu, meselenin özüne gelir; bu, bir işlevin ne olduğunu "bildiğiniz" iddiası değildir; onu herhangi bir noktada değerlendirebilirsiniz. Bir işlevi "bildiğiniz" derken daha uygun bir kriterin, üzerinde herhangi bir sürekli doğrusal işlevi değerlendirme yeteneği olduğunu düşünüyorum.

— Nick Alger

@Nick Alger: Millet, ilgisini kaybetti. Bunu kışkırtmıyorum çünkü Bayes olduğuna ikna olmadım - D setindeki xi (xi, f (xi)) çalışmada gözlenen veya rastgele oluşturulan xi'ye mi işaret ediyor? Birincisi, Bayes, ancak birkaç saniye hesaplama süresi olan basit MC ile yenmek çok kolay (bu nedenle iyi çalışmaz) veya Bayes değil (verilere göre şartlandırılmadı).

— phaneron

-2

Mümkün tanımını uzanabilir bilinenler (edildi referans noktası için eksik veri sağlamak için veri uzantısına benzer gözlendi ancak kayıp) NULL (oluşturulan herhangi bir veri) içermesi.

π (c) = \frac{1}{c^{2}} I_{[1, \infty)} (c) .

$\pi(c) = \frac{1}{c^2} \,I_{[1,\infty)}(c) \, .$

$c=\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$

$f_{X_a\mid C}(x_a\mid c) f_{X_i\mid C}(x_i\mid c) =c\,1 g(x_i)$

$f_a{X_a\mid C}(x_a\mid c)=0$

Dolayısıyla, posterior 0 veya 1 olur (uygun), ancak yukarıdaki veri modelindeki olasılık mevcut değildir (çünkü veri modelinde gereken koşulu belirleyemezsiniz.)

Demek ABC yapıyorsun.

Önceden bir "c" çizin.

$\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$

Tutulan “c'ler, gerçek posteriorun yaklaşık bir değeri olacaktır.

(Yaklaşımın doğruluğu epsilona ve bu yaklaştırmada şartlanma yeterliliğine bağlı olacaktır.)

— phaneron
kaynak

-5

Bir dakika ne? sahipsiniz.

π (c | x) = (Π_{i} g (x_{i})) \cdot c^{n} π (c),

$\pi(c|x) = \left( \Pi_i g(x_i) \right) \cdot c^n \pi(c) \,,$

{x_{i}}

$\{x_i\}$

\propto

$\propto$

— Şaşkın
kaynak

2

x

$x$

\int f (x ∣ c) π (c) d c

$\int f(x\mid c)\,\pi(c)\,dc$

\prod_{i = 1}^{n} g (x_{i})

$\prod_{i=1}^n g(x_i)$