Bayesian modellerinde çapraz doğrulamanın kararlılığı

K-kat çapraz doğrulama (k = 5) kullanarak JAGS bir Bayesian HLM takıyorum. parametresinin tüm kıvrımlarda sabit olup olmadığını bilmek istiyorum . Bunu yapmanın en iyi yolu nedir? $\beta$

Bir fikir posteriorlarının farklarını bulmak ve 0'ın farkın% 95 CI'sinde olup olmadığını görmek. Başka bir deyişle, % 95 aralığında (ve sonra tüm kat çiftleri için tekrarlayın). $\beta$ $\beta_{k=1}-\beta_{k=2}$

Başka bir fikir, her kattaki posteriorlara farklı MCMC zincirleri gibi davranmak ve bu sahte zincirlerde Gelman (Potansiyel Ölçek Azaltma Faktörü) hesaplamaktır . $\hat{R}$

Bunlardan biri tercih edilebilir mi ve alternatifler var mı?

bayesian cross-validation

— Jack Tanner
kaynak

Sıfırın katlar arasında bir fark olmasını beklediğiniz gibi güvenilir farklılıklar arasında olup olmadığını görmek garip geliyor. Bir öneri, her kat için puan tahminlerini hesaplamak ve bunların yayılmasına bakmak olacaktır.

β

$\beta$

— Rasmus Bååth

Çapraz geçerlilik ve Bayes hakkında genel bir yorum: Neden sadece WAIC'yi hesaplamıyoruz? Asimptotik olarak LOOCV'ye eşdeğerdir ve yine de tüm verilerinizi kullanabilirsiniz.

— Kaza Dengesi

arka simülasyonlarını nasıl ?

β_{k = 1} - β_{k = 2}

$\beta_{k=1}-\beta_{k=2}$

— Stéphane Laurent

Eski fabrikamdaki testlerimizde% 0 verim kaybının% 95 CI'da olduğunu kanıtlamamız gerekiyordu. Yeterli, bağımsız örneklem soruları ve binom testinin doğası baskındı. Örnek boyutlarınızın ne olduğu hakkında bir fikir verebilir misiniz?

— EngrStudent - Monica

Yanıtlar:

Bunun bir yorum ya da cevap olarak nitelendirildiğini bilmiyorum. Buraya koyuyorum çünkü bir cevap gibi geliyor.

K-kat çapraz doğrulamasında verilerinizi k gruplarına ayırıyorsunuz. Eğer "temelleri" bile kapsıyorsanız, k kutularının her biri için eşit olarak rastgele üyeler seçersiniz.

Verilerden bahsettiğimde, her satırı bir örnek olarak ve her sütunu bir boyut olarak düşünüyorum. Değişken önemi, sütun önemini belirlemek için çeşitli yöntemler kullanmaya alışkınım.

Bir düşünce alıştırması olarak, rastgele "ders kitabı" üniformasından ayrıldınız ve hangi satırların önemli olduğunu belirlediyseniz? Belki bir anda tek bir değişkeni bilgilendirirler, ama belki daha fazla bilgi verirler. Diğerlerinden daha az önemli olan bazı satırlar var mı? Belki noktaların çoğu bilgilendirici, belki de çok az.

Değişkenin önemini bilerek, belki de önemlerine göre onları depolayabilirsiniz. Belki de en önemli örnekleri içeren tek bir çöp kutusu yapabilirsiniz. Bu, "k" boyutunuzu belirleyebilir. Bu şekilde, "en bilgilendirici" kth kovasını belirleyip başkalarıyla ve en az bilgilendirici kovayla karşılaştırırsınız.

Bu size model parametrelerinizin maksimum değişimi hakkında bir fikir verebilir. Sadece bir form.

Kth kovalarını bölmenin ikinci bir yolu, etkinin büyüklüğü ve yönüdür. Böylece, bir parametreyi veya parametreleri bir yönde sallayan örnekleri bir kovaya koyabilir ve aynı parametreyi veya parametreleri ters yönde sallayan örnekleri farklı bir kovaya koyabilirsiniz.

Bu formdaki parametre varyasyonu, bilgi yoğunluğuna değil, bilgi cinsine bağlı olarak değişkenlere daha geniş bir tarama sağlayabilir.

İyi şanslar.

— EngrStudent - Monica'yı eski durumuna döndür
kaynak

Tam bir cevap olmayabilir, ancak 0, birkaç farklılık için% 95 CI'de DEĞİLSE, 0.05 düzeyinde aynı olmadıklarını söylemek oldukça güvenlidir.

— Dennis Jaheruddin
kaynak