Model seçimi için en iyi yaklaşım Bayesian veya çapraz doğrulama?

Çeşitli modeller veya eklenecek özelliklerin arasında seçim yapmaya çalışırken, iki yaklaşım düşünebileceğimi tahmin ediyorum.

1. Verileri eğitim ve test setlerine ayırın. Daha da iyisi, önyükleme ya da k-kat çapraz doğrulama kullanın. Her seferinde egzersiz setini eğitin ve test setindeki hatayı hesaplayın. Plot test hatası - parametre sayısı. Genellikle, böyle bir şey olsun:
2. Parametre değerleri üzerine entegre ederek modelin olasılığını hesaplayın. yani, hesaplayın ve bunu parametre sayısına göre çizin. Sonra böyle bir şey alırız:$\int_\theta P(D|\theta)P(\theta)d \theta$

Yani benim sorularım:

1. Bu yaklaşımlar bu problemi çözmek için uygun mudur (modelinize kaç tane parametre dahil edeceğinize karar vermek ya da birkaç model arasından seçim yapmak)?
2. Eşdeğer mi? Muhtemelen değil. Belirli varsayımlar altında veya pratikte aynı optimal modeli verecekler mi?
3. Bayes mankenlerinde vs. önceki bilgileri belirtmenin olağan felsefi farkı dışında, her bir yaklaşımın artıları ve eksileri nelerdir? Hangisini seçtin?

Güncelleme: AIC ve BIC karşılaştırmasıyla ilgili soruyu da buldum . Benim yöntem 1'in AIC ile asimptotik olarak eşdeğer olduğu ve yöntem 2'nin BIC ile asimptotik olarak ilişkili olduğu görülmektedir. Ama aynı zamanda orada BIC’nin Leave-One-Out CV’ye eşdeğer olduğunu da okudum. Bu, asgari eğitim hatasının ve Bayesian Olabilirlik maksimumunun, LOO CV'nin K-kat CV'ye eşdeğer olduğu durumlarda eşdeğer olduğu anlamına gelir. Jun Shao'nun belki de çok ilginç bir makalesi " Doğrusal model seçimi için asimptotik bir teori " bu konularla ilgilidir.

1. Bu yaklaşımlar bu problemi çözmek için uygun mudur (modelinize kaç tane parametre dahil edeceğinize karar vermek ya da birkaç model arasından seçim yapmak)?

İkisinden biri olabilir, evet. En iyisini öngören bir model edinmekle ilgileniyorsanız, düşündüğünüz model listesinden ayrılma / çapraz doğrulama yaklaşımı bunu iyi yapabilir. Hangi modellerden hangisinin (olası modeller listenizde) gerçekte verilerinizi ürettiği ile ilgileniyorsanız, ikinci yaklaşım (modellerin arka olasılığını değerlendiren) istediğiniz şeydir.

2. Eşdeğer mi? Muhtemelen değil. Belirli varsayımlar altında veya pratikte aynı optimal modeli verecekler mi?

Hayır, genel olarak eşdeğer değildir. Örneğin , 'en iyi' modeli seçmek için AIC (Akaike tarafından bir Bilgi Kriteri) kullanılması, yaklaşık olarak çapraz doğrulamaya karşılık gelir. Kullanımı BIC (Bayes Bilgi Kriteri) tekrar yaklaşık posterior olasılıklar kullanılarak karşılık gelir. Bunlar aynı kriter değil, bu nedenle genel olarak farklı seçimler yapmalarını beklemek gerekiyor. Onlar olabilir aynı cevapları vermek - en iyi de tahmin modeli gerçeği olur her - en uygun aslında olduğunu ancak birçok durumda modeli bir o overfits, hangi yaklaşımlar arasındaki anlaşmazlık yol açar.

Uygulamada katılıyorlar mı? Bu sizin 'uygulamanızın neler içerdiğine bağlıdır. Her iki şekilde de dene ve öğren.

3. Bayes mankenlerinde vs. önceki bilgileri belirtmenin olağan felsefi farkı dışında, her bir yaklaşımın artıları ve eksileri nelerdir? Hangisini seçerdin?

• Posterior olasılıkları hesaplamak yerine çapraz doğrulama için hesaplamaları yapmak genellikle daha kolaydır.
• 'Gerçek' modelin seçtiğiniz listenin arasında olduğuna inandırıcı bir durum çıkarmak genellikle zordur. Bu, arka olasılık kullanımında bir problemdir, ancak çapraz doğrulama değildir
• Her iki yöntem de oldukça keyfi sabitlerin kullanılmasını içerir; Değişkenlerin sayıları açısından ekstra bir tahmin biriminin değeri nedir? Her modelin, bir priori'nin ne kadarına inanıyoruz ?
  • Muhtemelen çapraz doğrulama seçerdim. Ancak taahhütte bulunmadan önce, bu model seçiminin neden yapıldığı, yani seçilen modelin ne için kullanıldığı hakkında çok şey bilmek isterdim. Nedensel çıkarım gerekliyse, hiçbir model seçim şekli uygun olmayabilir.

Optimizasyon istatistiklerde tüm kötülüklerin köküdür! ;O)

Sonlu bir veri örneğinde değerlendirilen bir kritere dayalı bir model seçmeye çalıştığınızda, model seçim kriterine aşırı uyma riskini ortaya çıkarır ve başladığınızdan daha kötü bir modelle sonuçlanırsınız. Hem çapraz doğrulama hem de marjinal olabilirlik mantıklı bir model seçim kriteridir, ancak her ikisi de sınırlı bir veri örneğine bağlıdır (AIC ve BIC gibi - karmaşıklık cezası yardımcı olabilir ancak bu sorunu çözmez). Bunu makine öğreniminde önemli bir sorun olarak buldum.

GC Cawley ve NLC Talbot, Model seçiminde aşırı uydurma ve performans değerlendirmesinde sonraki seçim önyargısı, Makine Öğrenimi Araştırma Dergisi, 2010. Research, vol. 11, sayfa 2079-2107, Temmuz 2010. ( www )

Bir Bayesian bakış açısından, tüm model seçimleri ve parametrelerine entegre etmek daha iyidir. Optimize etmiyorsanız veya bir şey seçmiyorsanız, aşırı sığması zorlaşır. Dezavantajı, çoğu zaman MCMC ile çözülmesi gereken zor integrallerle bitiyor olmanız. En iyi prediktif performans istiyorsanız, tam bir Bayesian yaklaşımı öneririm; Verileri anlamak istiyorsanız, o zaman en iyi modeli seçmek genellikle yararlı olur. Ancak, verileri yeniden örneklendirirseniz ve her seferinde farklı bir modelle karşılaşırsanız, bu uygunluk prosedürünün dengesiz olduğu ve verilerin hiçbirinin verileri anlama konusunda güvenilir olmadığı anlamına gelir.

Çapraz doğrulama ile kanıt arasındaki önemli bir farkın, marjinal ihtimalin değerinin, modelin yanlış tanımlanmadığını varsaydığı (esas olarak modelin temel şekli uygun olduğu) olduğunu ve varsa yanıltıcı sonuçlar verebileceğini unutmayın. Çapraz doğrulama, böyle bir varsayımda bulunmaz; bu, biraz daha sağlam olabileceği anlamına gelir.