Bayes düzeyli modelde p değerleri isteyen yorumculara nasıl cevap verilir?

Bir gözden geçiren tarafından bayesci çok düzeyli modelimizdeki model tahminlerini daha iyi anlamak için p değerleri sağlamamız istendi. Model, bir deneyde katılımcı başına birden fazla gözlemin tipik bir modelidir. Modeli Stan ile tahmin ettik, böylece ek posterior istatistikleri kolayca hesaplayabiliyoruz. Şu anda, ortalama tahmini ve 0,025 ve 0,975 miktarlarını (görsel ve tablo olarak) rapor ediyoruz.

Şimdiye kadar verdiğim yanıt şunları içerir:

1. P değerleri bayes modelleri ile tutarsızdır, yani $P(X|\theta) \neq P(\theta|X).$
2. Arkaya dayanarak, parametrelerin 0'dan büyük (daha küçük) olma olasılığını hesaplayabiliriz. Bu biraz geleneksel bir p değerine benziyor.

Benim sorum, bunun bir gözden geçireni tatmin edebilecek bir yanıt mı yoksa sadece daha fazla karışıklığa mı neden olacak?

Güncelleme 10-Oct: Makaleyi akıldaki cevaba göre yeniden yazdık. Kağıt kabul edildi, bu yüzden bu gerçekten yararlı bir tavsiye olduğunu benim önceki yorum tekrarlamak olacak!

Birincisi, hızlı bir açıklama: Olasılık aslında posterior olmasa da, p-değerleri Bayesian çıkarımıyla o kadar tutarsız değildir, çünkü güven aralıklarının güvenilir aralıklarla aynı hizaya gelebileceği veya olmayabilir. (Her ne kadar gerçekten p-değerleri içeren posterior prediktif kontrol ile gösterildiği gibi tamamen farklı bir şey olmamasına rağmen .)

Ancak, bu gelişmişlik seviyesinin, gözden geçirenin aklında olan şey olmadığını tahmin ediyorum. Sanırım sadece istatistiksel modellerin p-değerleri olması gerektiğini 'biliyorlar', bu yüzden onlardan istediler. Yani soru kalıyor: nasıl cevap verilecek?

'Gözden geçiren bir X istediğinde, kendime iki soru sormamı yararlı buldum:

1. Motivasyon: X'in onlar için ne yapmasını istiyorlar?

2. Rasyonel yeniden yapılanma: Bunu yapmak istiyorlarsa X yerine isteyebilecekleri en benzer mantıklı şey ne olurdu?

O zaman onlara bunu verin.

Cahil bir gözden geçirenin avantajı (yine de kâğıt konusunda akıllı ve doğru olabilecek), X istediklerinde ne anlama geldiklerini nadiren açık bir şekilde bilmeleri. Bu, daha iyi bir soru sorarak yeniden yapılandırırsanız, ' Bunun yerine cevap verdiğinizi görmek için memnun kalacağım.

Sizin durumunuzda, gözden geçirenin buna paralel bir frekansçı analiz istemesi oldukça olasıdır. Çalışmak istediğini düşündüğüm, gözden geçirenin p-değerlerinin 'modeli daha iyi anlamak için' istedikleri ipucu. Sizin işiniz, bence, bunu gözden geçirenin sesini akıllıca yapacak şekilde ayrıştırmaktır. Muhtemelen gazetede neyin belirsiz olduğunu belirten birkaç cümle vardı. Belki de gözden geçirenin parametre marjinallerinizden yeniden yapılandırılamayacak bazı etkileri veya modelin kendileri için ilgi durumları hakkında söyleyeceklerini aydınlatan veya tek bir sayı özeti bulunmayan bazı miktarları vardı ...

Bu endişeleri tanımlayabiliyorsanız, yanıtınızı aşağıdaki formlarda (orijinal köşeli parantez içinde orijinal istek) tamamlayabilirsiniz:

"gözden geçiren [bir etkileşim terimi için p değeri talep eder], sunumumuzdan A'nın B ile nasıl değiştiğinin belirsiz olduğu konusunda endişeliydi, bu yüzden Şekil 2'de şunu gösteriyoruz ..." veya "gözden geçiren [ A'nın etkisinin sıfır olduğu hipotezi] A'nın etkisinin yönü hakkında. Tablo 3, bu modelin bunun% 99 olma olasılığının "veya" gözden geçirenin [modelimizin bir modelden önemli ölçüde daha iyi uyup uymadığını merak ettiğini ”gösterir. sadece A] içeren modelimiz, sadece A içeren bir modelle karşılaştırıldığında bu soruyu DIC kullanarak / bir Bayes Faktörü hesaplayarak / A hakkındaki çıkarımlarımızın B'nin dahil edilmesine karşı sağlam olduğunu göstererek ...

Her durumda orijinal talebin yakın bir çevirisi ve bir cevap vardır.

Uyarılar: Bu strateji, gözden geçiren kişi istatistiklerin göreceli olarak zayıf bir anlayışa sahip bir konu uzmanı olduğunda en iyi sonucu verir. O mu değil aslında çünkü onlar x'ler gibi bir X istiyor ya da bir yere yakın zamanda onlar hakkında okumak kendinden tespit istatistiksel sofistike inceleme ile çalışır. İkincisi için öneri yok.

Son olarak, Bayes farklı bir paradigma ve içinde hiçbir anlam ifade gözden geçirenler soruları hakkında bile hafifçe dini bir şey söylemiyorum şiddetle tavsiye ediyorum. Bu doğru olsa bile, herkesi gerçek bir kazanç için huysuz yapar.