Bayesci yöntemler ne zaman Frequentist'e tercih edilir?


18

Gerçekten Bayesci teknikleri öğrenmek istiyorum, bu yüzden kendime biraz öğretmeye çalışıyorum. Ancak, Bayesian tekniklerini kullanırken Frequentist yöntemlere göre bir avantaj sağladığını görmekte zorlanıyorum. Örneğin: Literatürde bazılarının bilgilendirici öncelikleri nasıl kullandığını, bazılarının ise bilgilendirici olmayanları nasıl kullandığını gördüm. Ancak önceden bilgilendirici olmayan bir bilgi kullanıyorsanız (bu gerçekten yaygın görünüyor mu?) Ve posterior dağılımın bir beta dağıtımı olduğunu fark ederseniz ... başlangıçta bir beta dağıtımına sığamazdınız ve iyi? Sana hiçbir şey söylemeyen önceki bir dağıtımın nasıl kurulduğunu görmüyorum ... peki, sana gerçekten bir şey söyleyebilir mi?

R'de kullandığım bazı yöntemlerin Bayesian ve Frequentist yöntemlerin bir karışımını kullandıkları ortaya çıkıyor (yazarlar bunun biraz tutarsız olduğunu kabul ediyor) ve hangi parçaların Bayesian olduğunu bile anlayamıyorum. Dağıtım bağlantısının yanı sıra, Bayesian yöntemlerini nasıl kullanacağınızı bile anlayamıyorum. "Bayesci regresyon" var mı? Bu nasıl olurdu? Tahmin edebileceğim tek şey, Frequentist bazı veriler hakkında düşünüyor, gözbebekleri, bir Poisson dağılımı görüyor ve bir GLM yürütürken, altta yatan dağılımı tekrar tekrar tahmin ediyor. (Bu bir eleştiri değil ... Gerçekten anlamıyorum!)

Yani ... belki bazı temel örnekler yardımcı olur? Ve benim gibi gerçek yeni başlayanlar için bazı pratik referanslar biliyorsanız, bu da gerçekten yararlı olacaktır!


Olası yinelenen bu ?
Glen_b

Ee, benziyor mu? Sorumu yanıtlamaya yaklaştığından kapanmaya hoş geldiniz. Hala tarif ettiğim daha basit durumları merak ediyorum (bu konuda listelenen teknikleri hiç duymadım) ama cevabım insanların yerleşik ve kolay sık teknikler olduğu için regresyon / vb.
HFBrowning

2
İnsanlar do regresyon için Bayes tekniklerini kullanın. Ancak, sık kullanılan yöntemler çok uygun olduğu ve birçok insan hangi yaklaşımı kullandıkları konusunda pragmatik olduğu için, daha karmaşık bir şeye ihtiyaç duymazsa, her zaman kullanmaktan memnun olan insanlar sıradan regresyon kullanacaktır. Ancak, biraz daha karmaşıklık ile başa çıkmanız veya önceki bilgileri veya herhangi bir başka nedeni resmi olarak dahil etmeniz gerektiğinde, Bayesci yaklaşımlardaki mütevazı ek çalışmalar iyi görünmeye başlar.
Glen_b -Reinstate Monica

Bu mantıklı, teşekkürler. Diğer bazı konuları okumak da benim için kullanımları açıklığa kavuşturdu.
HFBrowning

İlgili başka bir şey .. Bayesci bir ortamda regresyon için, katsayılar için en çok kullanılan öncelikler çok değişkenli Normal ve çok değişkenli Laplace'dır. Bu öncelikleri kullanmak, eğer Bayes algoritmasından sonra katsayıların MAP tahminini alacak olsaydı, katsayılara büzülme cezaları koymak ve sırasıyla sırt regresyonu veya LASSO kullanmaya eşdeğer kılmak için çalışır. Bu sonuçları tam olarak Bayesci olmayan bir şekilde hesaplamak çok daha ekonomiktir ve temelde eşdeğerlerse .. neden rahatsız oluyorsunuz?

Yanıtlar:


11

Sık ve Bayes yöntemlerini karşılaştırarak ilginizi çekebilecek bazı bağlantılar şunlardır:

Özetle, bunu anlama şeklim, belirli bir veri kümesi göz önüne alındığında, sıklık, söz konusu verilerin üretildiği gerçek, temelde bir dağılım olduğuna inanır. Kesin parametreleri elde edememe, sonlu örneklem büyüklüğünün bir fonksiyonudur. Diğer yandan Bayesian, parametreler hakkında bazı varsayımlar ile başladığımızı düşünüyoruz (bilmeden de olsa) ve bu parametreler hakkındaki görüşümüzü geliştirmek için verileri kullanıyoruz. Her ikisi de gözlemleri açıklayabilecek ve tahminlerde bulunabilecek bir model geliştirmeye çalışıyorlar; fark varsayımlardadır (hem gerçek hem de felsefi). Özlü, titiz olmayan bir ifade olarak, frekansçının parametrelerin sabit olduğuna ve verilerin rasgele olduğuna inandığını söyleyebiliriz; Bayesian verilerin sabit olduğuna ve parametrelerin rastgele olduğuna inanıyor. Hangisi daha iyi veya tercih edilebilir? Cevaplamak için sadece kazmanız ve farkında olmanız gerekirher biri hangi varsayımları gerektirir (örn. parametreler asemptotik olarak normal mi?)


2
Çok güzel ve ilginç cevaplar, ama bu sorularıma en doğrudan cevap verdi. Teşekkürler
HFBrowning

Avraham ilk bağlantı koptu
Erik Hambardzumyan

1
@ErikHambardzumyan Teşekkürler. Geri dönüş makinesine kaydedilmiş bir sürüm bulundu.
Avraham

10

İki yaklaşım arasındaki zıtlıkların birçok ilginç yönünden biri, frekansçı alanda elde ettiğimiz birçok nicelik için resmi yorumlamanın çok zor olmasıdır. Bir örnek, cezalandırma yöntemlerinin (büzülme) giderek artan önemidir. Cezalandırılmış azami olabilirlik tahminleri elde edildiğinde, önyargılı nokta tahminlerinin ve "güven aralıklarının" yorumlanması çok zordur. Öte yandan, sıfır etrafında yoğunlaşmış bir önceki dağılım kullanılarak sıfıra doğru cezalandırılan parametreler için Bayesci posterior dağılımının tamamen standart yorumları vardır.


1
Bu iyi bir nokta. Yine de lambda a-priori seçildiğinde öncelikle doğru olup olmadığını merak ediyorum. Çoğu zaman, örnek dışı tahmin hatasını optimize etmek için çapraz doğrulama kullanarak lambda seçilebilir. Bu durumda, lambda'nın analize getirdiğiniz 'önceki bilgilere' eşdeğer olduğunu söylemek garip geliyor.
gung - Monica'yı eski

1
λ=σ2λ

3
Ben Lambda önce bir hiper-parametre olduğunu söyleyebilirim (bir hiper-öncesi ve üzerinde marjinalize olabilir daha Bayes olmak kendisi için bunu da jmlr.org/papers/volume8/cawley07a/cawley07a.pdf )
Dikran Marsupial

5

Bu toptancıyı Stan kullanıcıları grubundan çalıyorum. Michael Betancourt , iki istatistik okulunun zıtlığı talebinize bağlı olduğuna inandığım Bayesian çıkarımında bu gerçekten iyi tanımlanabilirlik tartışmasını sağladı .

Bir Bayes analizi ile ilk fark, zayıf olsa bile, bu 4 parametrenin posterior kütlesini sonlu bir mahallede sınırlayacak olan önceliklerin varlığı olacaktır (aksi takdirde ilk etapta geçerli bir önceliğiniz olmazdı). Buna rağmen, posteriorun sonsuz veri sınırındaki bir nokta kütlesine yakınlaşmayacağı anlamında hala tanımlanamayabilirsiniz. Ancak, gerçek anlamda bu önemli değildir, çünkü (a) sonsuz veri limiti zaten gerçek değildir ve (b) Bayesci çıkarım nokta tahminlerini değil, dağılımları rapor eder. Pratikte, bu tür bir tanımlanamazlık, parametreler arasında (belki de dışbükeylik olmadan) büyük korelasyonlara neden olacaktır, ancak uygun bir Bayes analizi bu korelasyonları tanımlayacaktır. Tek parametreli marjinalleri rapor etseniz bile '

μ1μ2N(x|μ1+μ2,σ)μ1+μ2=0μ1μ2

μ1μ2μ1μ2


3

Bayesci ve frekansçı yaklaşımlar arasındaki temel fark, bir olasılık tanımında yatmaktadır, bu nedenle olasılıkları uzun vadede sık sık ele almak gerekirse, frekansçı yaklaşımlar mantıklıdır, eğer değilse, Bayesci bir yaklaşım kullanmalısınız. Her iki yorum da kabul edilebilirse, Bayesci ve frekansçı yaklaşımların makul olması muhtemeldir.

Başka bir deyişle, belirli bir deneyden hangi çıkarımları yapabileceğinizi bilmek istiyorsanız, muhtemelen Bayes olmak istersiniz; bazı deney popülasyonları hakkında (örneğin kalite kontrol) sonuçlar çıkarmak istiyorsanız, sık kullanılan yöntemler çok uygundur.

Temel olarak, önemli olan hangi soruyu cevaplamak istediğinizi bilmek ve soruyu en doğrudan cevaplayan analiz formunu seçmektir.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.