Bayesliler geçerli Bayes yöntemlerini ne zaman (ve neden) reddediyor? [kapalı]

Okuduklarım ve verilen cevaplardan gelmiş itibaren diğer sorular burada istediler, birçok sözde frequentist yöntemler gelmektedir matematiksel olarak ( bunlar felsefi karşılık eğer umurumda değil sözde özel durumlarda sadece matematiksel karşılık gelip gelmediğine dikkat,) Bayesci yöntemler (buna itiraz edenler için, bu sorunun altındaki nota bakın). İlgili bir soruya verilen yanıt (benim değil) bu sonucu desteklemektedir:

Çoğu Frequentist yöntem, çoğu durumda temelde aynı sonucu verecek Bayes eşdeğerine sahiptir.

Aşağıda, matematiksel olarak aynı olmanın aynı sonucu vermek anlamına geldiğine dikkat edin. Her zaman "farklı" olarak aynı sonuçları verdiği kanıtlanabilecek iki yöntemi karakterize ederseniz, bu sizin hakkınızdır, ancak bu felsefi bir yargıdır, matematiksel değil pratik bir yöntemdir.

Bununla birlikte, "Bayesyanlar" olarak kendini tanımlayan birçok insan, ( matematiksel olarak ) Bayes yöntemlerinin özel bir durumu olmasına rağmen, "sıklıkçı bir yöntem" olduğu için, her durumda maksimum olabilirlik tahmini kullanarak reddetmektedir . Görünüşe göre Bayesliler, Bayesci bakış açısından da matematiksel olarak doğru olsalar da, frekansçılara kıyasla sınırlı / sınırlı sayıda dağılım kullanıyorlar .

Soru: Bayesliler, Bayesci açıdan matematiksel olarak doğru olan yöntemleri ne zaman ve neden reddediyorlar? Bunun için "felsefi" olmayan herhangi bir gerekçe var mı?

Arkaplan / Bağlam: Aşağıdakiler , CrossValidated ile ilgili bir önceki soruma verilen cevaplar ve yorumlardan alıntılardır :

Bayesci ve sıkça yapılan tartışmanın matematiksel temeli çok basittir. Bayesci istatistiklerde bilinmeyen parametre rastgele bir değişken olarak ele alınır; sık istatistiklerde sabit bir eleman olarak ele alınır ...

Yukarıdakilerden, ( matematiksel olarak konuşursak ) Bayesci yöntemlerin, frekansçı modellerin Bayesci yöntemlerle aynı matematiksel varsayımların tümünü karşıladığı , ancak tam tersi olmadığı için, sık olanlardan daha genel olduğu sonucuna varabilirdim . Bununla birlikte, aynı cevap, yukarıdakilerden çıkardığım sonucun yanlış olduğunu savundu (aşağıdakilere yapılan vurgu benim):

Sabit, rastgele bir değişkenin özel bir durumu olmasına rağmen, Bayesizm'in daha genel olduğu sonucuna varmaktan çekinmem. Rastgele değişkeni bir sabite daraltarak Bayesliler'den sıkça sonuç almazsınız. Aradaki fark daha derin ...

Kişisel tercihlere gitmek ... Bayesci istatistiklerin mevcut dağılımların oldukça sınırlı bir alt kümesini kullanmasını sevmiyorum .

Başka bir kullanıcı, Yanıtlarında, Bayes yöntemleri olduğunu, tersini ifade vardır işin garibi bu durum olabilir neden için bulabildiğim en iyi nedeni önceki yanıtta olmasına rağmen bir frequentist olarak eğitilmiş bir kişi tarafından verilen, daha genel.

Matematiksel sonuç, Frequentists'in temel olasılık denklemlerinin sadece bazen geçerli olduğunu ve Bayesianların her zaman uyguladıklarını düşündükleridir. Bu yüzden aynı denklemleri doğru olarak görüyorlar, ancak ne kadar genel oldukları konusunda farklılar ... Bayesli, Frequentist'ten kesinlikle daha genel . Herhangi bir gerçek hakkında belirsizlik olabileceğinden, herhangi bir gerçekliğe bir olasılık atanabilir. Özellikle, üzerinde çalıştığınız gerçekler gerçek dünya frekanslarıyla (tahmin ettiğiniz bir şey veya verilerin bir parçası olarak) ilgiliyse, Bayesian yöntemleri bunları diğer gerçek dünya gerçeklerinde olduğu gibi düşünebilir ve kullanabilir. Sonuç olarak, Sık Sorulanlar yöntemlerinin Bayesliler için de geçerli olduğunu düşünüyorlar.

Yukarıdaki cevaplardan, Bayesian teriminin yaygın olarak kullanılan en az iki farklı tanımı olduğu izlenimini edindim. Birincisi, sabit RV'ler ve sabit RVs olmayan parametreler içerdiğinden, tüm istatistik yöntemlerini kapsayan "matematiksel olarak Bayesian" diyorum. Daha sonra bazı "matematiksel olarak Bayesci" yöntemleri reddeden "kültürel olarak Bayesci" vardır, çünkü bu yöntemler "sık "tır (yani parametrenin kişisel düşmanlığı bazen sabit veya frekans olarak modellenmiştir). Yukarıda bahsedilen soruya bir başka cevap da bu varsayımı destekliyor gibi görünüyor:

Ayrıca, iki kampın kullandığı modeller arasında yapılabilecek olandan daha fazla ilişkili olan çok sayıda bölünme olduğu da belirtilmektedir (yani , bir kamp tarafından geleneksel olarak kullanılan birçok model diğer kamp tarafından gerekçelendirilebilir) ).

Sanırım sorumu ifade etmenin başka bir yolu şudur: Kültürel Bayesliler birçok matematiksel Bayes yöntemini reddederse neden kendilerini Bayesli olarak adlandırıyorlar? Ve neden bu matematiksel Bayesci yöntemleri reddediyorlar? Bu belirli yöntemleri en sık kullanan insanlar için kişisel düşmanlık mıdır?

Düzenleme: İki nesne, nasıl yapılandırıldıklarına bakılmaksızın , aynı özelliklere sahipse, matematiksel anlamda eşdeğerdir . Örneğin, hayali birimi inşa etmenin en az beş farklı yolunu düşünebilirim$i$. Bununla birlikte, hayali sayıların araştırılması hakkında en az beş farklı "düşünce okulu" yoktur; Aslında, sadece bir tane olduğuna inanıyorum, özelliklerini inceleyen bu grup. Maksimum olasılık kullanarak bir nokta tahmini almayı itiraz edenlere, daha önce maksimum a priori ve birörnek kullanarak bir nokta tahmini almakla aynı şey değildir çünkü ilgili hesaplamalar farklıdır, felsefi anlamda farklı olduklarına inanıyorum , ancak tahmin için her zaman aynı değerleri verdikleri ölçüde , matematiksel olarak eşdeğerdirler, çünkü aynı özelliklere sahiptirler . Belki felsefi farklılık sizin için kişiseldir, ancak bu soru ile ilgili değildir.

Not: Bu soru başlangıçta MLE tahmininin ve MAP tahmininin muntazam bir şekilde yanlış bir karakterizasyonuna sahipti.

Orijinal yazıdaki hatalı bir varsayımı düzeltmek istiyorum, bu nispeten yaygın bir hatadır. OP diyor ki:

Ne okuduğumdan ve burada sorduğum diğer soruların cevaplarından, maksimum olasılık tahmini matematiksel olarak karşılık geliyor (felsefi olarak karşılık gelip gelmediği umurumda değil, sadece matematiksel olarak karşılık gelip gelmediği umurumda) önceden tek tip ( buna itiraz edenler için, bu sorunun altındaki nota bakın).

Ve yazının altındaki not şunları söylüyor:

Nasıl yapılandırıldıklarına bakılmaksızın aynı özelliklere sahip olmaları durumunda, iki nesne matematiksel anlamda eşdeğerdir. [...]

Benim itirazım, felsefe bir yana, maksimum olabilirlik tahmini (MLE) ve maksimum posterior (MAP) tahmininin aynı matematiksel özelliklere sahip olmamasıdır .

Önemli bir şekilde, MLE ve MAP, alanın (doğrusal olmayan) yeniden ölçümlenmesi altında farklı şekilde dönüşür. Bunun nedeni, MLE'nin her parametreleştirmede "düz bir önceliğe" sahip olmasıdır, oysa MAP (bir olasılık yoğunluğu olarak önceki dönüşümler , bu yüzden bir Jacobian terimi vardır).

Matematiksel bir nesnenin tanımı , nesnenin değişkenlerin dönüştürülmesi gibi operatörler altında nasıl davrandığını içerir (örneğin, bir tensör tanımına bakın ).

Sonuç olarak, MLE ve MAP vardır değil ne felsefi ne de matematiksel olarak, aynı şey; bu bir görüş değil.

Şahsen ben "frekansçı" ya da "Bayesci" olmaktan ziyade "pragmatist "im, bu yüzden herhangi bir kamp için konuştuğumu iddia edemem.

Bununla birlikte, bahsettiğiniz ayrım muhtemelen MAP ile MAP arasında çok fazla değil, nokta tahminleri ile posterior PDF'leri tahmin etmek arasında . Seyrek veri ve büyük belirsizlikleri olan bir alanda çalışan bir bilim adamı olarak, yanıltıcı olabilecek ve aşırı güveye neden olabilecek "en iyi tahmin" sonuçlarına çok fazla güvenmek istememeye sempati duyabilirim.

İlgili pratik bir ayrım parametrik ve parametrik olmayan yöntemler arasındadır. Örneğin, hem Kalman filtrelemenin hem de Parçacık filtrelemenin Özyinelemeli Bayes Kestirimi olarak kabul edileceğini düşünüyorum . Ancak, posterior unimodal değilse Kalman filtrelemenin Gauss varsayımı (parametrik bir yöntem) çok yanıltıcı sonuçlar verebilir. Bana göre bu tür mühendislik örnekleri, farklılıkların ne felsefi ne de matematiksel olduğunu, ancak pratik sonuçlar açısından ortaya çıktığını (yani özerk aracınız çökecek mi) vurgulamaktadır . Bildiğim Bayesian meraklıları için, bu "neyin işe yaradığını görün" mühendislik tarzı tutum baskın görünüyor ... bunun daha geniş bir şekilde doğru olup olmadığından emin değilim.

Bununla birlikte, "Bayesyanlar" olarak kendini tanımlayan birçok insan, (matematiksel olarak) Bayes yöntemlerinin özel bir durumu olmasına rağmen, "sıklıkçı bir yöntem" olduğu için, her durumda maksimum olabilirlik tahmini kullanarak reddetmektedir.

Bu insanlar, MLE'yi nokta tahminleri yapmak için genel bir yöntem olarak reddedecektir. Önceden üniforma kullanmak için nedenleri olduğu ve maksimum posteriori bir tahmin yapmak istedikleri özel durumlarda, MLE ile yaptıkları hesaplamaların çakışmasından hiç rahatsız olmazlardı.

Görünüşe göre Bayesliler, Bayesci bakış açısından da matematiksel olarak doğru olsa da, sıklıklara kıyasla sınırlı / sınırlı sayıda dağılım kullanıyorlar.

Belki bazen, hesaplamalarını kolaylaştırmak için, ancak herhangi bir prensip noktasından değil.

Bayesian teriminin yaygın olarak kullanılan en az iki farklı tanımı olduğu izlenimine kapıldım. Birincisi, sabit RV'ler ve sabit RVs olmayan parametreler içerdiğinden, tüm istatistik yöntemlerini kapsayan "matematiksel olarak Bayesian" diyorum. Daha sonra bazı "matematiksel olarak Bayesci" yöntemleri reddeden "kültürel olarak Bayesci" vardır, çünkü bu yöntemler "sık "tır (yani parametrenin kişisel düşmanlığı bazen sabit veya frekans olarak modellenmiştir).

Bayes çıkarsamalarına farklı yaklaşımlar arasında kesinlikle ayrımlar yapılacak, ancak bu değil. Bayesizm'in daha genel olduğu duygusu varsa, olasılık kavramını sadece frekans oluşturma ile ilgili olan veri üretme sürecinin mütevazi belirsizliğine değil, parametre değerleri hakkındaki epistemik belirsizliğe uygulamak istemektedir. Frekansçı çıkarım, Bayesci çıkarımın özel bir durumu değildir ve cevap ve yorumların hiçbiri Bayes'e karşı sıkça yapılan tartışmanın matematiksel bir temeli var mıdır ?olduğunu ima ediyorlar. Bayesci bir yaklaşımda, parametreyi sabit bir rastgele değişken olarak düşünürseniz, veriler ne olursa olsun aynı posterioru elde edersiniz - ve sabit olduğunu söylemek gerekir, ancak hangi değerin bir şey söylemeyeceğini bilmezsiniz söylemeye değer. Sıklık yaklaşımı tamamen farklı bir yol izler ve posterior dağılımların hesaplanmasını hiç içermez.