Sık-Bayesci tartışması nereye gitti?


59

İstatistik dünyası, sık kullanılanlar ve Bayesanlar arasında bölündü. Bugünlerde herkes ikisini de yapıyor gibi görünüyor. Bu nasıl olabilir? Farklı yaklaşımlar farklı problemler için uygunsa, neden istatistiğin kurucuları bunu görmedi? Alternatif olarak, tartışma Frequentists tarafından kazanıldı mı ve gerçek öznel Bayesanlar karar teorisine geçti mi?


13
Bu CW'yi öncül bir tek yetkili ya da en iyi cevap olma ihtimalinin bulunmadığı yolunda yaptım. (Herhangi bir modda ikna etmekten çekinmeyin, aksi takdirde aynı fikirde olmazsınız!) Kişi, potansiyel olarak çekişmeli olduğu gerekçesiyle soruyu kapatmayı iddia edebilir, ancak (IMHO) konuyla ilgili ve ilginçtir. Bununla birlikte, herhangi bir çekişmeli, kimyasal veya desteklenmeyen cevaplar, ortaya çıkmaları halinde, başka bir açıklama yapılmadan silinecektir.
whuber

Yanıtlar:


58

Ben aslında hafifçe öncül ile katılmıyorum. Herkes bir Bayesian'dür, eğer gerçekten onlara öncelikli olarak verilen bir olasılık dağılımına sahiplerse. Sorun olmadıklarında ortaya çıkar ve sanırım bu konuda hala oldukça iyi bir bölünme var.

Bununla birlikte, daha fazla insanın kutsal savaşlarla savaşmaya daha az eğilimli olduğu ve sadece belirli bir durumda uygun görünen şeyleri yapmaya devam edeceği konusunda hemfikir olduğumu söyleyerek.

Mesleği ilerledikçe, iki tarafın da diğer tarafın yaklaşımlarında hakların bulunduğunu fark ettiler. Bayesliler, tekrar tekrar kullanıldığında Bayesian prosedürlerinin ne kadar iyi olacağını değerlendirmenin (örneğin, bu% 95 güvenilir aralığın (CI) gerçekte zamanın yaklaşık% 95'inde gerçek parametreyi içermesini sağlıyor mu?) Sıkça bir bakış açısı gerektirdiğini fark etti. Bu olmadan, bu "% 95" in gerçek dünya numaralarına göre kalibrasyonu yoktur. Bozulmazlık? İteratif armatür vb. Yoluyla model oluşturma? Sık sık dünyada ortaya çıkan ve 1980'lerin sonunda başlayan Bayesliler tarafından uyarlanan fikirler. Sık görüşmeler, düzenlileşmenin iyi olduğunu fark etti ve bu günlerde oldukça yaygın bir şekilde kullandı - ve Bayesian önceleri kolayca düzenlileştirme olarak yorumlanabilir. Ceza işlevli kübik splinelar üzerinden parametrik olmayan modelleme? Cezan benim önceliğim! Şimdi hepimiz anlaşabiliriz.

Diğer önemli etkinin, hızlı bir şekilde analiz yapmanıza izin verecek yüksek kaliteli yazılımların mevcudiyetindeki şaşırtıcı gelişme olduğunu düşünüyorum. Bu iki bölüm halinde gelir - algoritmalar, örneğin, Gibbs örneklemesi ve Metropolis-Hastings ve yazılımın kendisi, R, SAS, ... Tüm kodumu C ile yazmak zorunda kalsaydım, daha saf bir Bayesian olabilirdim. başka bir şeyi denemek için vaktim olmazdı), ama olduğu gibi, R 'de mgcv paketinde gam'ı kullanacağım gibi görünürken, modelim çok fazla sıkışmadan o çerçeveye sığdırabilirim ve bunun için daha iyi bir istatistikçi. Rakibinizin yöntemlerine aşina olmak ve bir konuyu düşünmek için varsayılan çerçevenize% 100 uymasalar bile, bazı durumlarda bunları kullanmak için ne kadar çaba sarf edebileceğini / daha iyi kaliteyi sağlayabileceğinin farkına varmak,


5
@ Dinran: Ben şahsen rakibi kelimesini seçtiğim için kendimi tereddüt edeceğim ihtirasına katılıyorum . :)
kardinal

2
@ cardinal bilmiyorum, meslektaşları sarmalamak eğlenceli olabilir (ikiniz de demek istediğinizi daha iyi bildiğiniz sürece!; o)
Dikran Marsupial

3
@Dikran - Anlayışınız için teşekkürler! "Rakip" in de tam olarak doğru kelime olduğunu hissetmedim, ama yine de sadece eğlence için oraya sapladım ve kısmen de hala muhalefet hissini koruyan daha iyi bir kelime düşünemediğim için.
Jbowman

5
@jbowman: Bayesian istatistiklerinin a-la Good, Lindley veya DeFinetti, öncekilerin öznel / zihinsel olduğunu ve nesnel / fiziksel olmadığını ifade eder. Bu sebepten ötürü: "... Herkes Bayesli". İşte bu yüzden Robbins, sık sık “yeni” bir fikrini ortaya çıkarırken “Empirical Bayes” terimini kullanmak zorunda kaldı. Yine de, bugün çok düzeyli bir örnekleme şeması kullanarak, bu nedenle sık sık önceliğe sahip olmanın, "Bayes istatistiği" olarak nitelendirilmesi için yeterli olacağını kabul ediyorum.
JohnRos

2
@ JohnRos - düşündüğüm şey daha klasikti "TBC testinde olumlu geldiğinizden dolayı tüberküloza girme olasılığınız nedir?" durum. (Sanırım) çok az sayıda sık istatistikçi, uygun başlangıç ​​TBB hızının öncelikli bir olasılık olarak kullanılmasına ve test olasılığına göre güncellenmesine itiraz edecekti. Tabii ki, önceki öznel olma fikrine hala itiraz ediyorlardı ve diğer taraftaki arkasındaki verilere rağmen öznel olduğunu iddia edecek bir akıl yürütme çizgisi görebiliyordum (+1).
jbowman

35

Bu cevap vermek zor bir sorudur. Her ikisini de gerçekten yapan insanların sayısı hala çok sınırlıdır. Sert çekirdekli Bayesanlar, Bayesanlar için saçma sapan, dahili olarak tutarsız bir istatistik olan -değerlerini kullanmaları için ana istatistik kullanıcılarını küçümserler; ve ana akım istatistikçiler Bayesian yöntemlerini kendileri hakkında yorum yapacak kadar iyi bilmiyorlar. Bunun ışığında, Bayesçi literatürdeki (neredeyse saf biyoloji veya saf psikoloji dergileri kadar), ana akım aktörlerin yanıt vermeyecek kadar az sayıda eleştirisini göreceksiniz.p

İstatistik mesleğinde "tartışmayı kimin kazandığı" konusunda çelişkili tezahürler var. Bir yandan, ortalama istatistik departmanının bileşimi, çoğu yerde, muhtemelen danışmanlık pozisyonları haricinde, genel olarak hiç ana kayıpsız olmayan tamamen Bayesyan olmasına rağmen, 10-15 ana ve 1-2 Bayesanı bulacağınızdır. (Harvard, Duke, Carnegie Mellon, British Columbia, Kuzey Amerika'da Montreal; Avrupa sahnesine daha az aşinayım). Öte yandan, JASA veya JRSS gibi dergilerde muhtemelen makalelerin% 25-30'unun Bayesian olduğunu göreceksiniz. Bir anlamda, Bayesian rönesansı, 1950'lerde ANOVA gazetelerinin patlaması gibi bir şey olabilir: o zamanlar insanlar, hemen hemen herhangi bir istatistik sorununun ANOVA problemi olarak tanımlanabileceğini düşünüyorlardı; şimdi,

Benim hislerim, uygulamalı alanların felsefi detayları bulmaktan zahmet etmemesi ve sadece çalışması kolay olanlarla devam etmesi. Bayesian metodolojisi çok karmaşıktır: istatistiklerin üstüne, aynı zamanda hesaplama sanatını da (örnekleyiciyi kurma, engelleme, yakınsama tanılama, falan filanı) öğrenmeniz ve önceliklerinizi savunmaya hazırlıklı olmanız gerekir (kullanmanız gerekiyorsa) objektif öncelikler, eğer alan 3e8 m / s olan ışık hızına çok fazla karar verdiyse veya önceki seçimin posterinizin uygun olup olmayacağına etki edip etmediği konusunda bilgilendirici öncelikleri mi kullanmalısınız? Bu yüzden çoğu tıp ya da psikoloji ya da ekonomi uygulamasında, temel araştırmacılar tarafından yazılan makalelerde genel yaklaşımları göreceksiniz,

Bayesian çerçevesinin hala yetersiz kaldığı alanlardan biri model teşhisidir - ve bu uygulayıcılar için önemli bir alandır. Bayesian dünyasında, bir modeli teşhis etmek için, daha karmaşık bir model inşa etmeniz ve hangisinin Bayesian faktörü veya BIC'ye daha uygun olduğunu seçmeniz gerekir. Öyleyse, lineer regresyonunuz için normallik varsayımını beğenmiyorsanız, Öğrenci hatalarıyla bir regresyon oluşturabilir ve verinin serbestlik dereceleri hakkında bir tahmin üretmesine izin verebilir veya tüm fantezi olabilir ve sizin için bir Dirichlet işlemine sahip olabilirsiniz. hata terimleri ve farklı modeller arasında bazı MH atlamaları yapın. Ana yaklaşım, öğrenci artıklarının bir QQ planını oluşturmak ve aykırı noktaları kaldırmak olacaktır ve bu, yine de çok daha basittir.

Bununla ilgili bir kitapta bir bölüm düzenledim - bkz. Http://onlinelibrary.wiley.com/doi/10.1002/9780470583333.ch5/summary . Tamamen Bayes bakış açısını destekleyen bu tartışma hakkında yaklaşık 80 referans vermiş olan çok iyi bir çalışmadır. (Yazardan, hakkında çok şey söyleyen gözden geçirilmiş bir versiyonda genişletmesini istedim :)). Önde gelen Bayesçi teorisyenlerden Duke'den Jim Berger bir dizi ders verdi ve konuyla ilgili çok sayıda düşünceli makale yazdı.


14

Her ikisine de sahip olmak için iyi bir neden var, bu da iyi bir zanaatkarın eldeki görev için en iyi aracı seçmek isteyeceği ve hem Bayes hem de sık kullanılan yöntemlerin iş için en iyi araç oldukları uygulamalara sahip olmaları gerektiğidir.

Bununla birlikte, sıklıkla iş için yanlış bir araç kullanılır, çünkü sıklık yapan istatistikler, Bayesian yöntemlerine daha doğrudan cevap vermelerine rağmen, bilim ve mühendislik uygulamalarında Bayesian meslektaşlarına göre uygulamalarını kolaylaştıran bir "istatistik yemek kitabı" yaklaşımına daha uygundur. sorusu (genel olarak gerçekten sahip olduğumuz belirli veri örneğinden çıkardığımız şey). "Yemek kitabı" yaklaşımı, aslında ne yaptığınızı tam olarak anlamadan istatistik kullanmaya başladığından, p-değeri yanıltıcılığı gibi şeylerin tekrar tekrar ortaya çıkmasının nedeni olarak bu durumdan hiç hoşlanmıyorum.

Ancak, zaman ilerledikçe, Bayesian yaklaşımına yönelik yazılım araçları gelişecek ve jbowman'ın haklı olarak söylediği gibi daha sık kullanılacaklar.

Eğilim ile bir Bayesian'um (sık sık yaklaşımdan çok daha mantıklı geliyor gibi görünüyor), ancak gazetelerimde sık sık istatistik kullanmamın bir sonucu olarak, kısmen de olsa eğer Bayesian istatistiklerini kullandıkları takdirde hakemlerle sorun yaşayacağım "standart dışı" olacaktır.

Sonunda (yanakta biraz dil; o), Max Plank'tan alıntı yapmak "Yeni bir bilimsel gerçek, rakiplerini ikna edip ışığı görmelerini sağlayarak zafer kazanmaz, aksine rakipleri ölür ve tanıdık olan yeni bir nesil büyür; Bununla birlikte."


10

Frequentists ve Bayesians'ın aynı sorulara farklı cevaplar verdiğini sanmıyorum. Farklı soruları cevaplamaya hazır olduklarını düşünüyorum . Bu nedenle, bir tarafın kazanması hakkında konuşmanın, hatta uzlaşma hakkında konuşmanın bir anlamı olmadığını düşünüyorum.

Sormak isteyebileceğimiz tüm soruları düşünün. Birçoğu sadece imkansız sorulardır (“ gerçek değeri nedir ?”). Çeşitli varsayımlar göz önüne alındığında cevaplanabilecek bu soruların alt kümesini göz önünde bulundurmak daha yararlıdır. Daha büyük alt küme, öncelikleri kullanmanıza izin verdiğiniz yerlerde cevaplanabilecek sorulardır. Bu seti BF olarak adlandır. Daha önce bağımlı olmayan bir soru seti olan bir BF altkümesi var. Bu ikinci altkümeyi F olarak adlandırın. F, bir BF altkümesidir. B = BF \ B tanımlayın.θ

Ancak, hangi soruların cevaplanacağını seçemiyoruz. Dünya hakkında yararlı çıkarımlar yapmak için, bazen B'deki soruları yanıtlamamız gerekir ve bu bir önceki kullanım anlamına gelir.

İdeal olarak, bir tahmin ediciye verilen ayrıntılı bir analiz yaparsınız. Bir öncekini kullanabilirsiniz, ancak tahmin edicinizle ilgili herhangi bir öncekine bağlı olmayan hoş şeyler ispatlamanız da harika olurdu. Bu, birinciyi çıkarabileceğiniz anlamına gelmez, belki de gerçekten ilginç sorular bir öncek gerektirmektedir.

Herkes F'deki soruları nasıl cevaplayacağı konusunda hemfikirdir. Endişe, asıl mesele gerçekten ilginç olan soruların F'de mi yoksa B'de mi olduğudur.

P(|S)=0P(+|H)=0.05

Bir parça kartımız var ve test makinesi kartın bir tarafına + veya - yazacak. Hayal ederseniz, gerçeği bir şekilde bilen bir kehanetimiz olduğunu düşünün ve bu kehanet, kartı bir zarfa koymadan önce, kartın diğer tarafındaki gerçek durumu (H veya S) yazar.

İstatistiksel olarak eğitilmiş bir doktor olarak, kartı açmadan önce zarftaki kart hakkında ne söyleyebiliriz? Aşağıdaki ifadeler yapılabilir (bunlar yukarıda F’dir):

  • P(+|S)=1
  • P(-|'H)=0.95
  • P((-,S)(+,'H))0.95

P((-,S))P((+,'H))P(S)

Bu, gidebileceğimiz kadarıyla. Zarfı açmadan önce , testin doğruluğu hakkında çok olumlu açıklamalar yapabiliriz. Test sonucunun doğruyla eşleşme olasılığı (en azından)% 95'tir.

Ama kartı gerçekten açtığımızda ne olacak? Test sonucunun pozitif (veya negatif) olduğu göz önüne alındığında, sağlıklı mı yoksa hasta mı olduğu hakkında ne söyleyebiliriz?

P(S)P(S)

Bu basit örnekte, negatif test sonucu olan herkesin sağlıklı olduğu açıktır. Yanlış bir olumsuzluk yoktur ve bu nedenle her istatistikçi bu hastayı mutlu bir şekilde eve gönderir. Bu nedenle, test sonucu olumlu olmadığı sürece bir istatistikçinin tavsiyesini ödemenin bir anlamı yoktur .

Yukarıdaki üç kurşun noktası doğru ve oldukça basit. Ama onlar da işe yaramaz! Kuşkusuz bu tartışmalı modelde gerçekten ilginç olan soru şudur:

P(S|+)

P(S)

Bunun belki de aşırı basitleştirilmiş bir model olduğunu inkar etmiyorum, ancak bu hastaların sağlığı hakkında faydalı açıklamalar yapmak istiyorsak, sağlıkları hakkında biraz önceden inancımıza başlamamız gerektiğini gösteriyor.


2
'H+5%95%P(|S)=0.95P(-|S)=0

1
P(-|'H)=0.95P(-|S)=0.95

2
P(S)+20P(S)

1
P(S)P(S)

6

Göreceğiniz gibi, oldukça sık bir Bayesci tartışmalar oluyor. Aslında, bence her zamankinden daha sıcak ve daha az dogmatik. Blogumla ilgileniyor olabilirsiniz: http://errorstatistics.com


2
Shalizi & Gelman'ın yazılarıyla çalışmalarınıza aşinayım. Blogu kesinlikle takip edeceğim. Ve yine de merak ediyorum, Gelman’ın "Bayes", DeFinetti’nin "Bayes" ile aynı ... ....
JohnRos,

1

Sık sık olduğunu düşünen pek çok kişi (uzman uzmanların dışında) aslında Bayesian. Bu, tartışmayı biraz anlamsız hale getirir. Bayesçiliğin kazandığını düşünüyorum, ama sık olduklarını düşünen birçok Bayesi hala var. Öncelikleri kullanmadıklarını düşünen bazı insanlar var ve bu yüzden sık olduklarını düşünüyorlar. Bu tehlikeli bir mantık. Bu, öncelikler hakkında çok fazla değildir (tek tip öncel veya tek tip olmayan), gerçek fark daha belirsizdir.

(Resmi olarak istatistik departmanında değilim; özgeçmişim matematik ve bilgisayar bilimidir. Bu 'tartışmayı' diğer istatistikçi olmayanlarla ve hatta bazı erken kariyerleriyle tartışmaya çalıştığım zorluklar nedeniyle yazıyorum. istatistikçiler.)

MLE aslında bir Bayesian yöntemidir. Bazı insanlar "Ben sıkıcıyım çünkü parametrelerimi tahmin etmek için MLE kullanıyorum" diyecekler. Bunu hakemli literatürde gördüm. Bu saçmalık ve buna göre (söylenmemiş, ancak ima edilen), bir sıklığın bir önceki üniforma yerine önceki üniforma kullanan bir kişi olduğu efsanesine dayanıyor.

μ=0θ

XN-(μ=0,σ2=θ)

xθθx

f(x,θ)=Pσ2=θ(X=x)=12πθe-x22θ

xθ

Isı haritası

θθx

Yatay ve dikey dilimler arasındaki bu ayrım çok önemlidir ve bu analojinin önyargıya yönelik sıkça yaklaşımı anlamama yardımcı oldu .

Bir Bayesian söyleyen biri

θf(x,θ)

g(θ)

θf(x,θ)g(θ)

Böylece bir Bayesian x'i sabitler ve bu kontur çiziminde (veya öncüyü içeren değişken çizimde) karşılık gelen dikey dilime bakar . Bu dilimde, eğri altındaki alanın 1 olması gerekmez (daha önce dediğim gibi). Bir Bayesian% 95 güvenilir aralığı (CI) mevcut alanın% 95'ini içeren aralıktır. Örneğin, alan 2 ise, Bayesian CI altındaki alan 1.9 olmalıdır.

θ

θ

N-(μ=0,σ2=θ)θx-3θ+3θ

θ

Frekansist CI'yi inşa etmenin tek yolu bu değil, hatta iyi (dar) bir değil, bir anlığına benimle kal.

'Aralık' kelimesini yorumlamanın en iyi yolu, 1-d çizgisindeki bir aralık değil, yukarıdaki 2-d düzlemindeki bir alan olarak düşünmektir. Bir 'aralık', herhangi bir 1 boyutlu çizgiden değil, 2 boyutlu düzlemin alt kümesidir. Birisi böyle bir 'aralık' önerdiğinde, test etmemiz gereken 'aralık'% 95 güven / güvenilirlik düzeyinde geçerlidir.

Bir uzman, her bir yatay dilimi sırasıyla dikkate alarak ve eğri altındaki alana bakarak bu "aralığın" geçerliliğini kontrol edecektir. Daha önce de söylediğim gibi, bu eğri altındaki alan her zaman bir olacaktır. Çok önemli gereksinim, 'aralık' içindeki alanın en az 0,95 olması.

Bir Bayesian geçerliliğini dikey dilimlere bakarak geçerliliğini kontrol edecektir. Yine, eğrinin altındaki alan, aralığın altındaki denizaltıyla karşılaştırılacaktır. İkincisi öncekilerin en az% 95'i ise, 'aralık' geçerli bir% 95 Bayesian güvenilir aralığıdır.

Şimdi, belirli bir aralığın 'geçerli' olup olmadığını nasıl test edeceğimizi bildiğimize göre, geçerli seçenekler arasında en iyi seçeneği nasıl seçeceğimiz sorusudur. Bu siyah bir sanat olabilir, ancak genellikle en dar aralığı istersiniz. Her iki yaklaşım da burada aynı fikirde olma eğilimindedir - dikey dilimler göz önünde bulundurulur ve amaç, aralığı her dikey dilimin içinde mümkün olduğunca dar hale getirmektir.

Yukarıdaki örnekte mümkün olan en dar frekansçı güven aralığını tanımlamayı denemedim. Daha dar aralıklarla ilgili örnekler için aşağıdaki @cardinal yorumlarına bakınız. Amacım en iyi aralıkları bulmak değil, geçerliliği belirlerken yatay ve dikey dilimler arasındaki farkı vurgulamak. % 95 sıklıkta güven aralığının koşullarını sağlayan bir aralık genellikle% 95'lik Bayesian güvenilir aralığının koşullarını karşılamaz ve bunun tersi de geçerlidir.

Her iki yaklaşım da dar aralıkları arzu eder, yani bir dikey dilimi göz önüne alırken, o dilimdeki (1-d) aralığını olabildiğince dar hale getirmek istiyoruz. Fark,% 95'in nasıl uygulandığı ile ilgilidir - bir sıklık uzmanı, yalnızca her yatay dilimin alanının% 95'inin aralığın altında olduğu önerilen aralıklara bakacaktır; oysa bir Bayesyen, her dikey dilimin kendi alanının% 95'i olacak şekilde ısrar edecektir. aralığın altında.

Birçok istatistikçi bunu anlamıyor ve sadece dikey dilimlere odaklanıyor; Bu, başka türlü düşünmelerine rağmen onları Bayezyalı yapar.


3
(-1) Bu yazının birkaç noktada bazı temel yanlış anlaşılmalar gösterdiğine inanıyorum. Nereden başlayacağınızı bile bilmek zor.
kardinal

1
X2/θ~χ12θ(θ^,θ^u)P(θ(θ^,θ^u))=1-α θXX2/θ

1
[X2/q1α,)qbbχ12[X2/q1-α/2,X2/qα/2]bu ikinci aralık, basit bir sayısal prosedürle bulunabilecek en kısa aralık değildir. Özetle , cevabın argümanının ana önceliği, noktayı tamamen özlüyor görünmektedir.
kardinal

Merhaba @cardinal, son iki yorumunuzdaki puanlarınızı anlıyorum. Aslında, puanlarınızın söylediklerimle tutarlı olduğunu düşünüyorum :-) Tamam, sık sık güven aralıklarını oluşturmanın çeşitli yolları vardır. Açıkladığım yöntemi geçerli kabul ediyorsunuz. Ve siz (makul), yöntemimin en darı olmadığına dikkat çekiyorsunuz. Bence ilk yorumunuz pek yardımcı olmadı.
Aaron McDaid,

2
@ cardinal, ikinci düşüncelerde cevabımın sonunun faydalı olmadığını ve temelde yanlış olduğunu kabul ediyorum, bunu düzelteceğim. Asıl noktama dikkatimi çekiyor, bu durum istatistik departmanının dışında bu konuda güçlü bir görüşü olan birçok insanın iki yaklaşım arasındaki temel farkı takdir etmiyor: her iki yaklaşım da eğri altında iyi bir alana sahip görünüyor (en az% 95). ), ancak fark, ısı haritasından bir yatay (Frequentist) veya dikey (Bayesian) dilimi alıp almamaktır. Ben burada mıyım ve bu noktayı burada belirtmeye değer mi?
Aaron McDaid,
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.