hiyerarşik Bayes modelleri ve ampirik Bayes

HBM ve EB'nin hiperparametrelerin "oyunda" örneklendiği / tahmin edildiği / vs olduğu iki alternatif olduğunu düşünür müsünüz? Bu ikisi arasında açıkça bir bağlantı var.

HBM'yi EB'den daha "tam olarak Bayesci" olarak düşünür müsünüz? "Tamamen Bayesci" olmak ile diğer alternatifler arasındaki farkların neler olduğunu görebileceğim bir yer var mı?

Teşekkürler.

bayesian empirical-bayes

— singelton
kaynak

Ne "tam Bayesian" ve "Ampirik Bayes" konulu bir tartışma için de yanıtları görmek demek ‘Bayesian’ vs "‘Tamamen Bayesian’" .

teşekkürler Erteleyici. Mümkünse hala hiyerarşik Bayesci modellerle olan ilişki hakkında bir yanıt duymak istiyorum.

— singelton

Bunu wikipedia girişindeki Empirical Bayes yönteminde bulabilirsiniz : "ampirik Bayes, hiyerarşinin en üst düzeyindeki parametrelerin yerine, en olası değerlerine ayarlandığı hiyerarşik bir modelin tamamen Bayes tedavisine bir yaklaşım olarak görülebilir. tümleştiriliyor ".

HBM'nin kesinlikle EB'den daha "Bayesci" olduğunu söyleyebilirim, çünkü marjinalleştirme optimizasyondan daha Bayesci bir yaklaşımdır. Aslında bana öyle geliyor ki EB hiper parametrelerdeki belirsizliği görmezden gelirken, HBM bunu analize dahil etmeye çalışır. HMB'nin çok az veri olduğu ve dolayısıyla hiper parametrelerde dikkate alınması gereken önemli belirsizlik olduğu iyi bir fikir olduğundan şüpheleniyorum. Diğer yandan, büyük veri kümeleri için EB genellikle daha az hesaplama açısından pahalı olduğu ve veri hacmi genellikle sonuçların hiper parametre ayarlarına çok daha az duyarlı olduğu anlamına gelir.

Gauss süreç sınıflandırıcıları üzerinde çalıştım ve sık sık hiper parametreleri en üst düzeye çıkarmak için ML parametrelerini en üst düzeye çıkarmak ve dolayısıyla genelleme performansında önemli bir bozulma sağlamak için optimize ettim. Bu durumlarda tam bir HBM tedavisinin daha güvenilir, ancak aynı zamanda çok daha pahalı olacağını düşünüyorum.

— Dikran Keseli
kaynak

EB için +1 hiper parametrelerdeki belirsizliği göz ardı eder . Ayrıca Bayesci köktendinciler EB'yi Bayesyan karşıtı olarak görüyorlar, çünkü öncekini tahmin etmek için veri kullanmak küfürdür .

Açıkçası ben o zaman bir fundi Bayesian değilim! HBM bana aslında hesaplanabilir bir şekilde uygulanabilir olması şartıyla, yapılacak en doğru şey gibi görünüyor, günün sonunda bir dereceye kadar pragmatik olmanız gerekiyor (mevcut en büyük bilgisayarı satın aldıktan sonra; o).

— Dikran Marsupial