Diğer analizlerden daha önce yapılan ayrıcalık analizleri için Bayesian gerekçesi nedir?

Arkaplan ve Ampirik Örnek

İki çalışmam var; Bir deneme yaptım (1. Çalışma) ve sonra onu tekrar ettim (2. Çalışma). Çalışma 1'de iki değişken arasında bir etkileşim buldum; Çalışma 2'de bu etkileşim aynı yönde idi ancak anlamlı değildi. Çalışma 1'in modelinin özeti:

Coefficients:
                        Estimate Std. Error t value Pr(>|t|)    
(Intercept)              5.75882    0.26368  21.840  < 2e-16 ***
condSuppression         -1.69598    0.34549  -4.909 1.94e-06 ***
prej                    -0.01981    0.08474  -0.234  0.81542    
condSuppression:prej     0.36342    0.11513   3.157  0.00185 ** 

Ve Çalışma 2'nin modeli:

Coefficients:
                     Estimate Std. Error t value Pr(>|t|)    
(Intercept)           5.24493    0.24459  21.444   <2e-16 ***
prej                  0.13817    0.07984   1.731   0.0851 .  
condSuppression      -0.59510    0.34168  -1.742   0.0831 .  
prej:condSuppression  0.13588    0.11889   1.143   0.2545  

"Sanırım hiçbir şeyim yok, çünkü" kopyalayamadım "," demek yerine iki veri setini birleştirdim, verinin hangi çalışmadan geldiğini belirten bir değişken yarattı ve sonra etkileşimi çalıştırdım. çalışma kukla değişkeni kontrol ettikten sonra tekrar. Bu etkileşim kontrol ettikten sonra bile önemliydi ve koşulu ve beğenmemek / prej arasındaki bu iki yönlü etkileşimin, çalışma kukla değişkeni ile üç yönlü bir etkileşim ile nitelendirilemediğini buldum.

Bayesian Analizine Giriş

Birisinin bunun Bayesian analizini kullanmak için harika bir fırsat olduğunu öne sürdüm: Study 2'de, Study 1'den, ön bilgi olarak kullanabileceğim bilgilerim var! Bu şekilde, Çalışma 2, Çalışma 1'deki sık ve sıradan en küçük kareler sonuçlarından bir Bayesian güncellemesi yapıyor. Bu yüzden, şimdi geri dönüp tekrar analiz ediyorum, şimdi de katsayılar hakkında bilgilendirici öncelikleri kullanarak: Tüm katsayıların bir katsayıları vardı. normalde, çalışma 1'deki ortalamanın tahmini olduğu ve standart sapmanın Çalışma 1'deki standart hata olduğu durumlarda normal.

Bu sonucun bir özeti:

Estimates:
                       mean    sd      2.5%    25%     50%     75%     97.5%
(Intercept)             5.63    0.17    5.30    5.52    5.63    5.74    5.96
condSuppression        -1.20    0.20   -1.60   -1.34   -1.21   -1.07   -0.80
prej                    0.02    0.05   -0.08   -0.01    0.02    0.05    0.11
condSuppression:prej    0.34    0.06    0.21    0.30    0.34    0.38    0.46
sigma                   1.14    0.06    1.03    1.10    1.13    1.17    1.26
mean_PPD                5.49    0.11    5.27    5.41    5.49    5.56    5.72
log-posterior        -316.40    1.63 -320.25 -317.25 -316.03 -315.23 -314.29

Görünüşe göre Çalışma 2 analizinden etkilediğimiz için oldukça sağlam kanıtlarımız var. Bu, sadece verileri birbirinin üzerine yığdığımda ve çalışma numarasını kukla değişken olarak çalıştırdığımda yaptığım şeyi kabul ediyor.

Karşılıklı: İlk önce 2. Çalışmayı koyarsam ne yapmalıyım?

Bu beni düşündürdü: Ya önce Çalışma 2'yi çalıştırsaydım ve sonra da Çalışma 2'deki inançlarımı güncellemek için Çalışma 1'deki verileri kullanırsam? Yukarıdaki gibi aynı şeyi yaptım, ancak tersi yönde: Çalışma 1 verilerini, çalışma aracı verilerinden elde edilen sık sık, sıradan en küçük kareler katsayısı tahminlerini ve Çalışma 2'deki standart sapmaları ve standart sapmaları kullanarak tekrar analiz ettim. Özet sonuçlar şunlardı:

Estimates:
                          mean    sd      2.5%    25%     50%     75%     97.5%
(Intercept)                5.35    0.17    5.01    5.23    5.35    5.46    5.69
condSuppression           -1.09    0.20   -1.47   -1.22   -1.09   -0.96   -0.69
prej                       0.11    0.05    0.01    0.08    0.11    0.14    0.21
condSuppression:prej       0.17    0.06    0.05    0.13    0.17    0.21    0.28
sigma                      1.10    0.06    0.99    1.06    1.09    1.13    1.21
mean_PPD                   5.33    0.11    5.11    5.25    5.33    5.40    5.54
log-posterior           -303.89    1.61 -307.96 -304.67 -303.53 -302.74 -301.83

Yine, bir etkileşim için kanıt görüyoruz, ancak bu mutlaka böyle olmayabilir. Her iki Bayesian analizinde yapılan nokta tahmininin, birbirleri için% 95 güvenilir aralıklarda olmadıklarını unutmayın; Bayesian analizlerinden elde edilen iki güvenilir aralık, örtüşmelerinden daha fazla örtüşmüyor.

Zaman Önceliği İçin Bayesian Gerekçesi Nedir?

Benim sorum şu: Verilerin nasıl toplanıp analiz edildiğinin kronolojisine ilişkin Bayezyalıların gerekçeleri nelerdir? Çalışma 1'den sonuçlar alıyorum ve bunları Çalışma 2'deki bilgilendirici öncelikler olarak kullanıyorum, böylece Çalışma 2'yi inançlarımı "güncellemek" için kullanıyorum. Fakat elde ettiğim sonuçların rasgele bir popülasyon etkisine sahip bir dağıtımdan alındığını varsayarsak ... o zaman neden Çalışma 1’den gelen sonuçları ayrıcalıyorum? Study 1'in önceki haliyle Study 2 sonucunu almak yerine Study 2 için Study 1 sonucunu öncelikli olarak kullanmanın gerekçesi nedir? Analizleri topladığım ve hesapladığım sıra gerçekten önemli mi? Bana olması gerektiği gibi görünmüyor - bunun için Bayesian gerekçesi nedir? Neden nokta tahmininin, ilk önce Çalışma 1'i koyduğum için, 0,17'den 0,34'e daha yakın olduğuna inanmalıyım.

Kodiyoloğun Cevabına Cevap Vermek

Kodiolog şöyle belirtti:

Bunlardan ikincisi, Bayesian konvansiyonundan yapmış olduğunuz önemli bir ayrılığa işaret ediyor. Önce bir önceliğe sahip değildiniz ve sonra her iki modele de Bayesian modasına uydunuz. Bir modele Bayesian olmayan bir şekilde uydunuz ve daha sonra diğer model için öncelikler için kullandınız. Geleneksel yaklaşımı kullanırsanız, burada gördüğünüz düzene bağımlılığı görmezsiniz.

Bunu ele almak için, tüm regresyon katsayılarının öncesinde olduğu Çalışma 1 ve Çalışma 2 modellerine uyuyorum . Değişken 0 ya da 1 kodlanmış deneysel koşul için boş bir değişken; Değişken yanı sıra sonucun hem Dolayısıyla, bunun öncesinde adil bir seçim olduğunu düşünüyorum 1 ile 7 arasında değişen 7 maddelik ölçeklerde ölçüldü. Verilerin nasıl ölçeklendiğine bakılmaksızın, katsayıları öncekinin gösterdiğinden daha büyük görmek çok, çok nadir olurdu.$\text{N}(0, 5)$condprej

Ortalama tahminler ve bu tahminlerin standart sapması, OLS regresyonundakiyle aynıdır. Çalışma 1:

Estimates:
                       mean     sd       2.5%     25%      50%      75%      97.5% 
(Intercept)             5.756    0.270    5.236    5.573    5.751    5.940    6.289
condSuppression        -1.694    0.357   -2.403   -1.925   -1.688   -1.452   -0.986
prej                   -0.019    0.087   -0.191   -0.079   -0.017    0.040    0.150
condSuppression:prej    0.363    0.119    0.132    0.282    0.360    0.442    0.601
sigma                   1.091    0.057    0.987    1.054    1.088    1.126    1.213
mean_PPD                5.332    0.108    5.121    5.259    5.332    5.406    5.542
log-posterior        -304.764    1.589 -308.532 -305.551 -304.463 -303.595 -302.625

Ve 2. Çalışma:

Estimates:
                       mean     sd       2.5%     25%      50%      75%      97.5% 
(Intercept)             5.249    0.243    4.783    5.082    5.246    5.417    5.715
condSuppression        -0.599    0.342   -1.272   -0.823   -0.599   -0.374    0.098
prej                    0.137    0.079   -0.021    0.084    0.138    0.192    0.287
condSuppression:prej    0.135    0.120   -0.099    0.055    0.136    0.214    0.366
sigma                   1.132    0.056    1.034    1.092    1.128    1.169    1.253
mean_PPD                5.470    0.114    5.248    5.392    5.471    5.548    5.687
log-posterior        -316.699    1.583 -320.626 -317.454 -316.342 -315.561 -314.651

Bu araçlar ve standart sapmalar OLS tahminleri ile hemen hemen aynı olduğu için yukarıdaki sipariş etkisi hala gerçekleşmektedir. Etüt 2'yi analiz ederken, Etüt 1'deki posterior özet istatistiklerini Öncelikler'e eklersem, önce Etüt 2'yi analiz etmekten farklı bir final posteri izlerim ve sonra Etüt 1'i analiz etmek için bu poster özeti istatistiklerini kullanırım.

Sık sık tahminler yerine önceki gibi Regresyon katsayıları için Bayesian ortalamalarını ve standart sapmaları kullansam bile, yine de aynı düzen etkisini gözlemlerdim. Öyleyse soru devam ediyor: İlk önce gelen çalışmayı imtiyazlamak için Bayesian gerekçesi nedir?

Bayes teoremi , yeniden ölçeklendirmeden sonraki değere posterioreşittir prior * likelihood(bu nedenle olasılık 1'dir). Her gözlem, likelihoodgüncellemek priorve yeni bir şey oluşturmak için kullanılabilecek bir ifadeye sahiptir posterior:

posterior_1 = prior * likelihood_1
posterior_2 = posterior_1 * likelihood_2
...
posterior_n = posterior_{n-1} * likelihood_n

Böylece

posterior_n = prior * likelihood_1 * ... * likelihood_n

Çarpımmanın komütabilitesi, güncellemelerin herhangi bir sırayla yapılabileceği anlamına gelir . Bu nedenle, önceden bir tekle başlıyorsanız, Çalışma 1 ve Çalışma 2'deki gözlemleri istediğiniz sırada karıştırabilir, Bayes formülünü uygulayabilir ve aynı sonuca varabilirsiniz posterior.

İlk önce şunu belirtmeliyim:

1. $p$
2. Bulgularınızı bu örnekten doğrudan öncekilere çevirerek, Çalışma 1'in sonuçlarına çok fazla güveniyorsunuz. Unutmayın, önceki sadece geçmiş bulguların bir yansıması değildir. Daha önceki bulgulardan önceki inançlarınız da dahil olmak üzere önceden var olan inançlarınızın tamamını kodlaması gerekir. Study 1'in örnekleme hatası ile model belirsizliği gibi diğer daha az izlenebilir belirsizlik türlerini içerdiğini kabul ederseniz, daha önce daha muhafazakar kullanmalısınız.

Bunlardan ikincisi, Bayesian konvansiyonundan yapmış olduğunuz önemli bir ayrılığa işaret ediyor. Önce bir önceliğe sahip değildiniz ve sonra her iki modele de Bayesian modasına uydunuz. Bir modele Bayesian olmayan bir şekilde uydunuz ve daha sonra diğer model için öncelikler için kullandınız. Geleneksel yaklaşımı kullanırsanız, burada gördüğünüz düzene bağımlılığı görmezsiniz.

Frequentist'ten Bayesian yöntemlerine geçmenin neden tehlikeli olabileceğini ve neden özet istatistiklerin kullanılmasının neden sorun yaratabileceğini göstermek için farklı, ancak stilize edilmiş bir sorunu olan bir dizi grafik yapabileceğimi düşündüm.

Çok boyutlu olan örneğinizi kullanmak yerine, boyutu üç gözlem ve üç gözlem olan iki çalışma ile bir boyuta indireceğim.

Bunu kullanıyorum çünkü merkezi limit teoremi geçerli değil, yeterli istatistikten yoksun, aşırı gözlemler yaygın, Chebychev'in eşitsizliği geçerli değil ve normal olarak uygulanabilir çözümler sunan bir ana bilgisayar dağıldı. Bunu kullanıyorum çünkü bu problemi çok fazla çalışmak zorunda kalmadan harika örnekler veriyor.

$\{-5,-1,4\}$$\{-1.5,-1,-.5\}$$\pm{669}\sigma$$\pm{3}\sigma$

İki ayrı çalışmanın arka yoğunlukları

Görsel olarak açıkça görüldüğü gibi, bir örneklemin özet istatistiklerini almak inanılmaz derecede yanıltıcı olabilir. Güzel, tek biçimli, iyi tanımlanmış ve adlandırılmış yoğunlukları görmeye alışkınsanız, bu durum Bayesian araçlarıyla hızlı bir şekilde kapıdan çıkabilir. Bunun gibi adlandırılmış bir dağıtım yoktur, ancak görsel olarak bakmamış olsanız bunu kesinlikle istatistiklerle açıklayabilirsiniz. Özet bir istatistik kullanmak, daha sonra bunu yeni bir öncek oluşturmak için kullanacaksanız sorun olabilir.

Her iki örnek için Frequentist güven dağılımı aynıdır. Ölçek bilindiğinden, bilinmeyen tek parametre medyandır. Üç örneklem büyüklüğü için, medyan MVUE'dur. Cauchy dağılımının bir anlamı veya varyansı yoktur, ancak medyanın örnekleme dağılımı da vardır. Maksimum olabilirlik tahmincisinden daha az etkilidir, ancak hesaplamak için çaba sarf etmem gerekiyor. Büyük örneklem büyüklükleri için Rothenberg'in yöntemi MVUE'dir ve orta büyüklükte örnek çözümler de vardır.

Frequentist dağıtım için,

$\Pr(x|\theta)$$\Pr(\theta|x)$

$x$

Eklem posterior, hem posteriorların ürünüdür hem de çarpmaların birleştirilmesiyle, hangi sırayla kullandığınız önemli değildir. Görsel olarak, eklem arka .

Posteriorlara basitleştirilmiş bir dağılım dağıttığınız ve özet istatistiklerini kullandığınız açıktır, muhtemelen farklı bir cevap alırsınız. Aslında çok farklı bir cevap olabilirdi. Bir çalışma için% 70 güvenilir bir bölge kullanılmışsa, bağlantısı kesilmiş güvenilir bir bölgede sonuçlanırdı. Bağlantısız aralıkların varlığı bazen Bayesian yöntemlerinde olur. Bir çalışma için en yüksek yoğunluk aralığı ve en düşük yoğunluk aralığı grafiği

HDR'nin, inandırıcı setin dışındaki bir bölgenin şeridi tarafından kırıldığını fark edeceksiniz.

Bu sorunların birçoğu genel olarak regresyonlu büyük setlerde ortadan kalkarken, size Bayesian ve Frequentist yöntemlerin kayıp değişkenleri regresyonda farklı şekilde nasıl ele aldıkları konusunda doğal bir fark örneği vereyim.

Tek bir eksik değişken olan hava ile iyi yapılmış bir regresyon düşünün. Müşterilerin yağmurlu günlerde ve güneşli günlerde farklı davrandıklarını varsayalım. Bu fark yeterliyse, kolayca iki Bayesian arka modu olabilir. Bir mod güneşli davranışları yansıtırken, diğeri yağmurlu. Neden iki modun olduğunu bilmiyorsun. İstatistiksel bir çalışma olabilir ya da eksik bir veri noktası olabilir, ancak ya numuneniz olağandışı ya da modelinizde atlanmış bir değişken var.

Frequentist çözüm iki devleti ortalamaya çekecek ve regresyon çizgisini müşteri davranışının gerçekleşmediği bir bölgeye koyabilir, ancak bu iki davranış türünün ortalamasını belirleyebilir. Aynı zamanda aşağı doğru önyargılı olacak. Sorunlar, özellikle gerçek varyanslarda büyük bir fark varsa, artıkların analizinde yakalanabilir, ancak olmayabilir. Zaman zaman Çapraz onaylı olarak ortaya çıkacak olan kalıntıların tuhaf resimlerinden biri olabilir.

Aynı verilerden iki farklı arkaya sahip olduğunuz gerçeği, ikisini doğrudan çarpmadığınız anlamına gelir. Ya Bayesci posterior ile birebir eşleşmeyen bir Frequentist çözümden bir posterci yarattınız veya özet istatistiklerden bir öncek yarattınız ve olabilirlik işlevi mükemmel bir şekilde simetrik değildi.