Model belirsizliğini ele almak

25

CrossValidated toplumundaki Bayesanların model belirsizlik problemini nasıl gördüklerini ve bununla nasıl başa çıkmayı tercih ettiklerini merak ediyordum ? Sorumu iki bölümden ortaya çıkarmaya çalışacağım:

Model belirsizliği ile (deneyiminize / görüşünüze göre) ne kadar önemli? Makine öğrenen topluluğunda bu konuyla ilgili herhangi bir makale bulamadım, bu yüzden sadece nedenini merak ediyorum.
Model belirsizliğini ele almak için ortak yaklaşımlar nelerdir (referans sağlarsanız bonus puanlar)? Bu yaklaşımın spesifik tekniklerine / sınırlamalarına aşina olmasam da, Bayesian modelinin ortalamalarını duydum. Diğerleri nelerdir ve neden birbirini tercih edersiniz?

machine-learning bayesian model-selection

— Nick
kaynak

1

Daha az popüler bir yöntem (ancak artan popülariteye sahip olan) , modellerin öngörücü performansını değerlendiren Puanlama Kuralları'dır .

17

Model seçimi ile ilgili ortaya çıkan iki durum vardır:

Gerçek model model alanına ait olduğunda.

Bu BIC kullanarak başa çıkmak için çok basit . BIC'nin yüksek olasılıkla gerçek modeli seçeceğini gösteren sonuçlar vardır.

Ancak pratikte gerçek modeli bilmemiz çok nadirdir. BIC'in bu nedenle kötüye kullanma eğiliminde olduğunu belirtmeliyim (muhtemel sebep AIC'ye benzemektedir ) . Bu konular daha önce bu forumda çeşitli şekillerde ele alınmıştır. İyi bir tartışma burada .

Gerçek model model alanında olmadığı zaman.

Bu, Bayesian topluluğunda aktif bir araştırma alanıdır. Bununla birlikte, kişilerin BIC'i bu durumda model seçim kriteri olarak kullanmanın tehlikeli olduğunu bildiği doğrulanmaktadır. Yüksek boyutta veri analizinde son literatür bunu göstermektedir. Bu tür bir örnek , bu . Bayes faktörü kesinlikle yüksek boyutlarda şaşırtıcı derecede iyi bir performans sergiliyor. MBIC gibi birkaç BIC modifikasyonu önerilmiştir, ancak fikir birliği yoktur. Green'in RJMCMC'i , Bayesian model seçimini yapmanın bir başka popüler yoludur, ancak kendine özgü kısa yollardan var. Bu konuda daha fazla takip edebilirsiniz.

Bayesian dünyasında model ortalamalarını öneren başka bir kamp var. Dikkate değer varlık, Dr. Raftery.

Bayes modelinin ortalaması.

Chris Volinksy'nin bu web sitesi , kapsamlı bir Bayesian modelinin intikam kaynağıdır. Diğer bazı eserler burada .

Yine, Bayesian model seçimi hala aktif bir araştırma alanıdır ve kime sorduğunuza bağlı olarak çok farklı cevaplar alabilirsiniz.

— suncoolsu
kaynak

\log | A_{n} | \approx \log | n A_{1} | = p \log n + \log | A_{1} |

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$

A_{n}

$A_n$

A_{1}

$A_1$

\log | A_{1} | = O (1)

$\log|A_1|=O(1)$

Ayrıca, Laplace yaklaşımının düşük performans göstermesi nedeniyle de olabilir

— olasılık

11

"Gerçek" bir Bayesian, tüm akla yatkın modeller üzerinde marjinalleştirerek (bütünleşerek) model belirsizliği ile ilgilenirdi. Örneğin, bir doğrusal sırt regresyon probleminde, regresyon parametreleri üzerinde marjinalleşirsiniz (bu bir Gauss posterioruna sahiptir, bu yüzden analitik olarak yapılabilir), ancak daha sonra, örneğin MCMC aracılığıyla hiper-paraemetreler (gürültü seviyesi ve düzenlileştirme parametresi) üzerinden marjinalleştirilir. yöntemleri.

"Daha az" bir Bayesian çözümü, model parametreleri üzerinde marjinalleşmek, ancak model için marjinal olasılığını ("Bayesian kanıtı" olarak da bilinir) en üst düzeye çıkarmak suretiyle hiper parametrelerini optimize etmek olacaktır. Bununla birlikte, bu beklenenden daha fazla uyuşmaya yol açabilir (bakınız örneğin Cawley ve Talbot ). Makine öğrenmesinde kanıtları en üst düzeye çıkarma hakkında bilgi için David MacKay'in çalışmalarına bakın . Karşılaştırma için, Radford Neal'ın benzer sorunlara "her şeyi bütünleştirmek" yaklaşımıyla ilgili çalışmalarına bakın. Kanıt çerçevesinin entegrasyonun hesaplamanın pahalı olduğu durumlar için çok kullanışlı olduğuna dikkat edin, bu nedenle her iki yaklaşımın da kapsamı vardır.

Bayesanlar etkili bir şekilde optimize etmek yerine entegre olurlar. İdeal olarak, çözümün özelliklerine ilişkin önceki inancımızı (örneğin pürüzsüzlük) belirtip, gerçekten bir model yapmadan notaları kullanarak tahminlerde bulunacağız. Makine öğrenmesinde kullanılan Gauss süreci "modelleri", kovaryans fonksiyonunun çözüme ilişkin önceki inancımızı kodladığı bu fikre bir örnektir. Rasmussen ve Williams'ın mükemmel kitabına bakınız .

Pratik Bayezliler için her zaman çapraz doğrulama vardır, çoğu şey için yenmek zordur!

— Dikran Marsupial
kaynak

11

“Model Belirsizlik” dünyasında bulduğum ilginç şeylerden biri de bu “gerçek model” kavramıdır. Bu, dolaylı olarak, “model önermelerimizin” biçiminde olduğu anlamına gelir:

M_{i}^{(1)} : The ith model is the true model

$M_i^{(1)}:\text{The ith model is the true model}$

$P(M_i^{(1)}|DI)$ $M_i^{(1)}$

Burada yoruculuk çok önemlidir, çünkü bu olasılıkların 1'e eklenmesini sağlar, bu da modeli marjinalleştirebileceğimiz anlamına gelir.

Fakat bunların hepsi kavramsal seviyede - model ortalama ortalaması iyi bir performans sergiliyor. Yani bu daha iyi bir kavram olması gerektiği anlamına gelir.

Şahsen ben modelleri çekiç, matkap gibi alet olarak görüyorum. Modeller, gözlemleyebileceğimiz şeyler hakkında öngörülerde bulunmak veya açıklama yapmak için kullanılan zihinsel yapılardır. Bir "gerçek çekiç" ten bahsetmek çok garip ve "gerçek bir zihinsel yapıdan" bahsetmek de aynı derecede garip. Buna dayanarak, “gerçek model” kavramı bana çok garip geliyor. "Doğru" modeller ve "yanlış" modeller yerine "iyi" modelleri ve "kötü" modelleri düşünmek çok daha doğal görünüyor.

Bu bakış açısına göre, bir dizi modelden, kullanılacak "en iyi" model konusunda aynı derecede belirsiz olabiliriz. Öyleyse teklifin yerine bunun nedeni olduğumuzu düşünelim:

M_{i}^{(2)} : Out of all the models that have been specified,

$M_i^{(2)}:\text{Out of all the models that have been specified,}$

the ith model is best model to use

$\text{the ith model is best model to use}$

$M_{i}^{(2)}$ $M_{i}^{(2)}$

Bununla birlikte, bu yaklaşımda, "en iyi" modelinizin ne kadar iyi olduğunu ölçmek için bir çeşit uygun ölçü ölçüsüne ihtiyacınız vardır. Bu, her zamanki GoF istatistiklerini (KL farklılığı, Chi-square, vb.) İfade eden "kesin şey" modelleriyle test ederek iki şekilde yapılabilir. Bunu ölçmenin bir başka yolu, model sınıfınıza son derece esnek bir model eklemektir - belki de yüzlerce bileşenden oluşan normal bir karışım modeli veya bir Dirichlet işlem karışımı. Bu model en iyisi olarak ortaya çıkıyorsa, diğer modellerin yetersiz olması muhtemeldir.

Bu yazının iyi bir teorik tartışması var ve adım adım, aslında model seçimini nasıl yaptığınıza dair bir örnek veriyor.

— probabilityislogic
kaynak

Büyük bir +1. Çok düşünceli, net bir analiz.

— whuber

Mükemmel cevap. Belirli bir model sınıfından yargılamanın BIC'in harika olduğunu söylemeliyim. Ancak, çoğu zaman, bahsettiğiniz gibi, gerçek model, model alanının dışındadır. Sonra, yine bahsettiğiniz gibi, gerçek model ile "en iyi model" arasındaki yakınlık anlamlıdır. Bunlar AIC ve diğer IC'lerin cevaplamaya çalıştıkları cevaplardır. BMA çalışır, ancak çalışmadığını da göstermiştir. Bunun kötü olduğunu söylemek değil, evrensel bir alternatif olarak düşünürken dikkatli olmalıyız.

— suncoolsu

1

C R A P = C R A P = \frac{1}{N} \sum_{i = 1}^{N} C R A P_{i}

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$

4

Suncoolsu'nun dediği gibi insanların DIC ve Bayes faktörünü kullandıklarını biliyorum. "BIC'in yüksek olasılıkla gerçek modeli seçeceğini gösteren sonuçlar var" derken ilgimi çekti (referanslar?). Fakat Andrew Gelman'ın savunduğu posterior öngörücü kontrol olan bildiğim tek şeyi kullanıyorum. Andrew Gelman ve posterior öngörücü kontrolleri google yaparsanız, pek çok şey bulacaksınız. Ve Christian Robert’ın ABC’ye model seçimiyle ilgili ne yazdığına bir göz atalım . Her durumda, işte hoşuma giden bazı referanslar ve Gelman'ın blogundaki son yayınlar:

Blog

DIC ve AIC ; DIC hakkında daha fazla . Model kontrolü ve dış doğrulama

Posterior öngörücü kontroller üzerine makaleler:

GELMAN, Andrew. (2003a). “Keşifsel Veri Analizi ve Uygunluk Testinin Bir Bayesian Formülasyonu”. Uluslararası İstatistiksel Değerlendirme, cilt. 71, n.2, sayfa 389-382.

GELMAN, Andrew. (2003b). “Karmaşık Modeller İçin Açıklayıcı Veri Analizi”. Hesaplamalı ve Grafik İstatistik Dergisi, vol. 13, n. 4, sayfa 755/779.

GELMAN, Andrew; MEKELEN, İven Van; VERBEKE, Geert; HEITJAN, Daniel F .; MEULDERS, Michel. (2005). “Model Kontrolü için Çoklu Değerlendirme: Eksik ve Gizli Verilere Sahip Tamamlanan Veri Alanları.” Biometrics 61, 74–85, Mart

GELMAN, Andrew; MENG, Xiao-Li; STERN, Hal. (1996). “Model Zindeliğin Gerçekleşen Tutarsızlıklar Yoluyla Öngörüsel Değerlendirmesi”. Statistica Sinica, 6, sayfa 733-807.

— Manoel Galdino
kaynak