Hiperparametreleri tahmin etmek için ampirik Bayes'e karşı çapraz doğrulama

Hiyerarşik bir model verildiğinde, modele uyması için iki aşamalı bir işlem istiyorum. İlk olarak, bir avuç hiperparametre düzeltin ve daha sonra parametrelerinin geri kalanında Bayesian çıkarım yapın . Hiperparametreleri sabitlemek için iki seçenek düşünüyorum. $p(x|\phi,\theta)$ $\theta$ $\phi$

Ampirik Bayes (EB) kullanın ve marjinal olasılığını en üst düzeye çıkarın (yüksek boyutlu parametreler içeren modelin geri kalanını entegre edin). $p(\mbox{all data}|\theta)$
olasılığını en üst düzeye çıkaran seçmek için -fold cross validation gibi Cross Validation (CV) tekniklerini kullanın . $k$ $\theta$ $p(\mbox{test data}|\mbox{training data}, \theta)$

EB'nin avantajı, tüm verileri bir kerede kullanabilmem, CV için ise (muhtemelen) model olasılığını birden çok kez hesaplamam ve . EB ve CV performansı birçok durumda karşılaştırılabilir (*) ve çoğu zaman EB'nin tahmin edilmesi daha hızlıdır. $\theta$

Soru: İkisini birbirine bağlayan teorik bir temel var mı (örneğin EB ve CV büyük veri sınırında aynıdır)? Ya da EB'yi ampirik risk gibi genelleştirilebilirlik ölçütleriyle ilişkilendiriyor mu? Birisi iyi bir referans materyaline işaret edebilir mi?

(*) Örnek olarak, Murphy's Machine Learning , Bölüm 7.6.4'ten bir rakam , burada sırt regresyonu için her iki prosedürün de çok benzer sonuç verdiğini söylüyor:

Murphy aynı zamanda ampirik Bayes'in CV'ye göre temel pratik avantajının (ona "kanıt prosedürü" diyor), " pek çok hiper parametreden (örneğin, otomatik alaka belirleme veya ARD gibi her özellik için ayrı ceza) oluşmasıdır. Orada CV kullanmak hiç mümkün değil. $\theta$

cross-validation references empirical-bayes

— Memming
kaynak

Çapraz doğrulama yöntemi için ne yaptığınızı daha ayrıntılı olarak açıklayabilir misiniz? Eğer sabitleme musunuz doğrulayarak önce diğer parametreleri tahmin etmek eğitim verileri kullanılarak ve ardından?

θ

$\theta$

— Neil G

@NeilG, çapraz doğrulama kümelerindeki log marjinal öngörme veri olasılığının toplamını en üst düzeye çıkarır (k entegre edilmiştir).

— Mart'ta

Eğer

iki kez entegre edilmişse , CV ve EB arasındaki fark nedir?

k

$k$

— Neil G

Harika bir soru. Murphy'nin ders kitabından sık sık karşılaştırılabilir olmak üzere iki prosedür hakkındaki fikrinizi göstermek için sorunuza bir rakam ekleme özgürlüğünü aldım. Umarım bu eklemeye aldırmazsınız.

— amip diyor Reinstate Monica

Yanıtlar:

Kanıtlar bize modelin varsayımları göz önüne alındığında verilerin olasılığını gösterdiğinden CV ve kanıt maksimizasyonunun asemptotik olarak eşdeğer olduğunu söyleyen teorik bir bağlantı olacağından şüpheliyim . Bu nedenle, model yanlış tanımlanırsa, kanıtlar güvenilir olmayabilir. Diğer yandan çapraz doğrulama, modelleme varsayımlarının doğru olup olmadığı konusunda verilerin olasılığı hakkında bir tahmin verir. Bu, modelleme varsayımlarının daha az veri kullanarak doğru olması durumunda kanıtların daha iyi bir rehber olabileceği anlamına gelir, ancak çapraz doğrulama model yanlış spesifikasyonuna karşı sağlam olacaktır. CV asemptolojik olarak tarafsızdır, ancak model varsayımları tam olarak doğru olmadıkça kanıtların olmadığını varsayabilirim.

Bu aslında benim sezgim / deneyimim; Bununla ilgili araştırmaları da duymak isterim.

Birçok model için (örneğin sırt regresyonu, Gauss süreçleri, çekirdek sırt regresyonu / LS-SVM vb.) İzinsiz bir kerelik çapraz validasyon, en az kanıtın tahmin edilmesi kadar verimli bir şekilde gerçekleştirilebileceğine dikkat edin; orada avantaj.

Zeyilname: Hem marjinal olabilirlik hem de çapraz validasyon performans tahminleri sonlu bir veri örneği üzerinde değerlendirilir ve bu nedenle her iki kriteri de optimize ederek bir model ayarlanırsa her zaman aşırı uyum olasılığı vardır. Küçük numuneler için, iki kriterin varyansındaki fark hangisinin en iyi olduğuna karar verebilir. Makalemi görün

Gavin C. Cawley, Nicola LC Talbot, "Performans Seçiminde Model Seçimi ve Sonraki Seçim Yanlılığı Üzerine Uyum Üzerine", Makine Öğrenimi Araştırmaları Dergisi, 11 (Tem): 2079−2107, 2010. ( pdf )

— Dikran Keseli
kaynak

Neden CV'nin yanlış belirlenmiş bir modele karşı sağlam olduğunu söylüyorsunuz? Onun durumunda, böyle bir koruma yoktur, çünkü çapraz doğrulama, EB'nin bir olasılık hesapladığı aynı alanı araştırmaktadır. Modelleme varsayımları yanlışsa, çapraz doğrulama onu kurtarmaz.

— Neil G

ϕ

$\phi$

ϕ

$\phi$

θ

$\theta$

ps Düzenleme parametrelerinin marjinal olabilirlik maksimizasyonu ile ayarlandığı Bayes düzenlenmesi ile sinir ağlarında aşırı sığmayı önlemek için bir analiz yapıyorum. Bunun çok kötü çalıştığı durumlar vardır (herhangi bir düzenli hale getirmekten daha kötü). Bu, modelin yanlış tanımlanmasıyla ilgili bir sorun gibi görünüyor.

— Dikran Marsupial

EB tarafından döndürülen tahmini dağılım (bu dağılımın entropisine eşit olacaktır) verildiğinde verilerin toplam log olasılığını kontrol ederek aynı "genelleme performansı göstergesini" alabilir. Bu durumda yenmenin bir yolu yok çünkü bu sorunun analitik çözümü. EB olasılığını hesaplayabildiğinizde çapraz doğrulamanın neden anlamlı olacağını anlamıyorum.

— Neil G

@probabilityislogic, ne elde ettiğinden tam olarak emin değilim (kuşkusuz sorunum sonunda!; o). Bu sorunun çok gerçek olmasına rağmen pratik deneyimlerden bahsedebilirim. Birkaç yıldır model seçimindeki sorunlar üzerinde çalışıyorum ve marjinal olasılığın en üst düzeye çıkarılmasının çok kötü bir fikir olduğu birçok problemle karşılaştım. Çapraz doğrulama çoğu veri kümesi için de geçerlidir, ancak kötü performans gösterdiği durumlarda, bazen kanıt maksimizasyonu bazen nadiren felaketle sonuçlanır.

— Dikran Marsupial

-1

$k$ $k$

— Neil G
kaynak