Pareto'nun önemini vurgulayan örneklemenin (PSIS-LOO) arızalanmasını önleme

Son zamanlarda Pareto'nun önemini belirten örnekleme bırakma-bir-arada çapraz-doğrulama (PSIS-LOO) kullanmaya başladım:

• Vehtari, A. ve Gelman, A. (2015). Pareto önem örneklemesini yumuşattı. arXiv ön baskı ( bağlantı ).
• Vehtari, A., Gelman, A. ve Gabry, J. (2016). Bir defaya mahsus çapraz doğrulama ve WAIC kullanılarak pratik Bayesci model değerlendirmesi. arXiv ön baskı ( bağlantı )

Bu, LOO-CV'nin tek bir MCMC çalışması ile gerçekleştirilmesine izin verdiği ve WAIC gibi mevcut bilgi kriterlerinden daha iyi olduğu için örnek dışı model değerlendirmesine çok cazip bir yaklaşımı temsil eder.

PSIS-LOO, yaklaşımın güvenilir olup olmadığını, yani önem ağırlıklarının ampirik dağılımlarının kuyruklarına takılan tahmini veri üsleri tarafından verilen bir tanılamaya sahiptir (veri noktası başına bir ağırlık). Kısacası, tahmini bir ağırlık , kötü şeyler olabilir.$\hat{k}_i$$\hat{k}_i \gtrsim 0.7$

Ne yazık ki, bu yöntemi benim sorunuma uygularken , ilgi modellerinin çoğunluğu için \ hat {k} _i \ gg 0.7 büyük bir bölümünü buldum bulundu $\hat{k}_i \gg 0.7$. Şaşırtıcı olmayan bir şekilde, bildirilen LOO log olasılıklarının bazıları oldukça açık bir şekilde saçmalıktı (diğer veri kümelerine kıyasla). Bir çift kontrol olarak, geleneksel (ve zaman alıcı) 10 kat çapraz doğrulama yaptım, yukarıdaki durumda gerçekten PSIS-LOO'nun çok yanlış sonuçlar verdiğini fark ettim (yukarı tarafta, sonuçlar 10 ile çok iyi anlaşmaya vardı. - hepsi $\hat{k}_i \ll 0.7$ ) olan modeller için CV katlayın . Kayıt için Aki Vehtari'nin PSIS-LOO'nun MATLAB uygulamasını kullanıyorum.

Belki de bu yöntemi uyguladığım mevcut ve ilk sorunumun PSIS-LOO için "zor" olması konusunda çok şanssızım, ancak bu davanın nispeten yaygın olabileceğinden şüpheleniyorum. Benimki gibi durumlarda, Vehtary, Gelman & Gabry makalesinde şöyle diyor:

PSIS tahmininin sonlu bir varyasyonu olsa bile, olduğunda, kullanıcı sorunlu için doğrudan den örneklemeyi düşünmelidir , katlama çapraz- doğrulayın veya daha sağlam bir model kullanın.$\hat{k} > 0.7$$p(\theta^s |y_{−i})$$i$$k$

Bunlar açık ama gerçekten ideal çözümler değil, çünkü zaman alıcıdırlar veya ek uğraşlar gerektirirler (MCMC ve model değerlendirmesinin tamamen uğraşmakla ilgili olduğunu takdir ediyorum , ancak daha az daha iyi).

PSIS-LOO'nun arızalanmasını önlemek için önceden uygulayabileceğimiz genel bir yöntem var mı ? Birkaç belirsiz fikrim var, ama insanların benimsediği ampirik bir çözüm olup olmadığını merak ediyorum.

Kayıt için, Stan kullanıcıları posta listesine benzer bir soru gönderdim, burada bulabilirsiniz . Orijinal PSIS-LOO belgesinin yazarlarından biri ve Stan'in diğer yazarları tarafından yanıtlandım. Bundan sonra kişisel özetim.

Kısa cevap, PSIS-LOO'nun arızalanmasını önlemek için bilinen genel yöntemlerin olmamasıdır. PSIS-LOO başarısız olursa, bunun nedeni genellikle modelin sorunları olması ve düzeltmenin mutlaka kullanıcıya bırakılmasıdır.

Özellikle, PSIS-LOO'nun başarısız olmasının nedeni, genellikle etkili gözlemler nedeniyle bir veya daha fazla LOO dağılımının tam posteriordan kaydırılması ve / veya daha geniş olması ve örnekleme dağılımının öneminin bir veya birkaç noktaya çökmesidir.

Bu sorunu çözmek için bir çeşit paralel posterior temperleme yaklaşımı benimseyebileceğinizi düşünmüştüm . Fikir mutlaka yanlış değildir, ancak bana şu noktalara dikkat çekti:

• ders kitabı posterior temperleme, doğru sıcaklık seviyelerini bulmak için hala duruma göre çok fazla uğraşmayı gerektirecektir, çünkü bunu yapmanın açık veya bilinen bir yolu yoktur (tesadüfen bu nedenle Stan paralel temperleme içermez);
• ikiden fazla sıcaklık seviyesi kullanırsanız (sağlam bir yaklaşıma sahip olmanız gerekebilir), nihai hesaplama maliyeti, K-kat çapraz doğrulamanın veya sorunlu LOO dağılımlarında MCMC'nin çalıştırılmasına yaklaşır.

Kısacası, PSIS-LOO başarısız olursa, diğer basit yamalar kadar sağlam ve genel bir yöntem elde etmek zor görünmektedir; bu nedenle Vehtari, Gelman ve Gabry bu soruları asıl sorumda gönderdiğim alıntıya göre önerdi.