Neden Bayesian yöntemleri çoklu test düzeltmeleri gerektirmiyor?

Andrew Gelman, Bayesian AB testinin neden birden fazla hipotez düzeltmesi gerektirmediğine dair kapsamlı bir makale yazdı: Neden (Genellikle) Birden Çok Karşılaştırma Hakkında Endişelenmek Gerekmiyor , 2012.

Tam anlamıyorum: neden Bayesian yöntemleri çoklu test düzeltmeleri gerektirmiyor?

A ~ Distribution1 + Common Distribution
B ~ Distribution2 + Common Distribution
C ~ Distribution3 + Common Distribution
Common Distribution ~ Normal

Anladığım kadarıyla yukarıda gösterilen Bayesian yaklaşımı, tüm hipotezlerin (sık sık bir Bonferroni düzeltmesinin aksine) paylaşılan temel dağılımını açıklıyor. Akıl yürütmem doğru mu?

Soruyu cevaplamanın garip bir yolu, Bayesian yönteminin bunu yapmanın bir yolunu sunmadığına dikkat etmektir, çünkü Bayesian yöntemleri kabul edilen kanıt kuralları ile tutarlıdır ve sık görüşme yöntemleri genellikle bunlarla çelişmektedir. Örnekler:

• Sık kullanılan istatistiklerle, A - B tedavisini karşılaştırmak, aile tipi I hatalarında dikkat edilmesi gereken hususlar nedeniyle C ve D tedavisini karşılaştırmak için ceza vermelidir; Bayesian ile AB karşılaştırması kendi başına duruyor.
• Sıralı frekansçı testlerde, verilere çoklu bakış için genellikle cezalar gerekir. Grup sıralı bir ortamda, A vs B için erken bir karşılaştırma henüz yapılmamış bir karşılaştırma için cezalandırılmalı ve daha önceki bir karşılaştırma, daha önceki bir karşılaştırmanın seyrini değiştirmemiş olsa bile, önceki bir karşılaştırma için cezalandırılmalıdır. ders çalışma.

Sorun frequentists düşünmek zorundayız yapma, zaman ve bilgi akışının frequentist tersine dönüşünün kaynaklanıyor neler olabileceğini yerine zaman ne . Buna karşılık, Bayesian değerlendirmeleri, tüm değerlendirmeleri kanıtları kalibre eden önceki dağıtıma bağlar. Örneğin, AB farkının önceki dağılımı AB'nin gelecekteki tüm değerlendirmelerini kalibre eder ve CD'yi düşünmek zorunda değildir.

Sıralı testlerde, bir deney sık sık çıkarım kullanılarak erken sonlandırıldığında nokta tahminlerinin nasıl ayarlanacağı konusunda büyük bir kafa karışıklığı vardır. Bayes dünyasında, önceki nokta herhangi bir nokta tahmininde “geri çekilir” ve güncellenmiş posterior dağılım herhangi bir zamanda çıkarım için uygulanır ve karmaşık örneklem alanı düşünceleri gerektirmez.

Bu tür hiyerarşik model tahminleri küçültür ve küçük ila orta dereceli hipotezler için yanlış iddia sayısını makul ölçüde azaltır. Bazı özel tip I hata oranlarını garanti ediyor mu? Yok hayır.

Gelman'ın bu özel önerisi (çok farklı şeylere bakmaktan sonra konuyu kabul eden ve daha sonra kolayca yanlış bir şekilde, bazıları için bir şeyler gördüğünüze karar veren - aslında blogundaki evcil hayvan konularından biri) tarafından yapılan son derece alternatif bir öneridir. Bayesian yöntemlerinin çokluğu hesaba katması gerekmediğine ilişkin görüş, çünkü tüm mesele sizin olasılığınızdır (ve öncekiniz).

Çok ilginç bir soru, işte benim üstüm.

Her şey kodlama bilgisi ile ilgili, sonra Bayesian krankını çevirin. Gerçek olamayacak kadar iyi görünüyor - fakat her ikisi de göründüğünden daha zor.

Soruyu sormaya başladım

Çoklu karşılaştırmalardan endişe duyduğumuzda hangi bilgiler kullanılıyor?

Bazılarını düşünebilirim - birincisi "veri tarama" - yeterince geçinceye / başarısızlığa ulaşana kadar "her şeyi" test et (eğitimli insanın hemen hemen tüm istatistiklerinin bu soruna maruz kalacağını düşünürdüm). Aynı zamanda daha az uğursuzluğa sahipsiniz, fakat esasen aynı "Çalıştırmak için çok fazla testim var - elbette hepsi doğru olamaz".

Bunu düşündükten sonra, fark ettiğim bir şey, belirli hipotezler veya belirli karşılaştırmalar hakkında fazla şey duymamanızdır. Tamamen “koleksiyon” ile ilgili - bu benim değişebilirlik hakkındaki düşüncelerimi tetikliyor - karşılaştırılan hipotez bir şekilde birbirlerine benzer. Ve nasıl bayesans analizine dönüştürülebilirliği nasıl kodlarsınız? - Hiper öncelikler, karışık modeller, rastgele etkiler, vb !!!

Ancak değişebilirlik yalnızca sizi oradaki yolun bir parçası haline getirir. Her şey değiştirilebilir mi? Ya da "seyreklik" var mı - örneğin sadece büyük bir aday havuzuna sahip sıfır olmayan birkaç regresyon katsayısı. Karışık modeller ve normal dağılmış rastgele etkiler burada çalışmaz. Sıkıştırma gürültüsü ile sinyalleri el değmeden bırakma arasında "sıkışmış" olurlar (örneğin, örneğinizde konum B ve konumC "doğru" parametrelerini eşit tutun ve konum A'yı "gerçek" parametresini keyfi büyük veya küçük tutun ve standart doğrusal karışık modelin başarısız olduğunu izleyin.) . Fakat sabitlenebilir - örneğin, "başak ve döşeme" öncelikleri veya "at ayakkabısı" öncelikleri ile.

Bu yüzden, ne tür bir hipotezden bahsettiğinizi tarif etmek ve önceki ve olası olasılıklara yansıyan birçok bilinen özelliği elde etmekle ilgili gerçekten. Andrew Gelman'ın yaklaşımı, örtük olarak geniş bir çoklu karşılaştırma sınıfını ele almanın bir yoludur. Tıpkı en küçük kareler ve normal dağılımlar gibi çoğu durumda iyi sonuç verme eğilimindedir (hepsi değil).

Bunun nasıl yapıldığına bakıldığında, aşağıdaki gibi düşünen bir insanı düşünebilirsiniz - grup A ve grup B aynı anlama gelebilir - verilere baktım ve araçlar "yakın" dır - Dolayısıyla, daha iyi bir tahmin elde etmek için her ikisi için de veriyi havuzlamalıyım, çünkü ilk düşüncelerim aynı anlama geliyordu. - Aynı değillerse, veriler "yakın" olduklarına dair kanıtlar sunar, bu yüzden "birazcık" bir araya getirme hipotezim yanlış olsaydı beni çok fazla incitmez (bazı modellerde yanlıştır, bazıları yararlıdır)

Yukarıdaki tüm menteşelerin “öncekiler aynı olabilir” öncüllerine dikkat edin. Şunu al, ve havuzlamanın bir gerekçesi yok. Muhtemelen testler hakkında düşünmenin bir "normal dağılım" yöntemi de görebilirsiniz. "Sıfır büyük olasılıkla", "sıfır değilse, o zaman sıfıra yakın en muhtemel", "aşırı değerler düşüktür". Bu alternatifi düşünün:

• A grubu ve B grubu, eşit olabilir, fakat aynı zamanda çok farklı olabilir.

O zaman “biraz” bir araya getirme tartışması çok kötü bir fikir. Toplam havuzu veya sıfır havuzu seçmekten daha iyi olursunuz. Cauchy, spike & slab, durum tipi (sıfıra yakın kütle ve aşırı değerler için kütle kütlesi) gibi daha fazlası

Bütün çoklu karşılaştırmaların üstesinden gelmek zorunda değil, çünkü Bayesian yaklaşımı bizi endişeye götüren ve / veya olabilirlikle ilgili bilgileri içeren bilgiler içeriyor . Bir anlamda, hangi bilgilerin sizin için uygun olduğunu düşünmeniz ve analizinize dahil ettiğinizden emin olmanız daha çok hatırlatır.

İlk olarak, sunduğunuz modeli anladığım kadarıyla, Gelman'ın önerisinden biraz daha farklı olduğunu düşünüyorum.

A ~ Distribution(locationA)
B ~ Distribution(locationB)
C ~ Distribution(locationC)

locationA ~ Normal(commonLocation)
locationB ~ Normal(commonLocation)
locationC ~ Normal(commonLocation)

commonLocation ~ hyperPrior

Uygulamada, bu commonLocationparametrenin eklenmesiyle , 3 dağılımın (burada 1, 2 ve 3 numaralı konumlar) parametreler üzerindeki çıkarımları artık birbirinden bağımsız değildir. Ayrıca, commonLocationparametrelerin beklenti değerlerini merkezi (genellikle tahmin edilen) bir değere küçültme eğilimindedir. Belli bir anlamda, gerekli olmayan çoklu düzeltmeler için düzeltmeye ihtiyaç duyan tüm çıkarımlar üzerinde bir düzenlenme işlevi görür (pratikte olduğu gibi, modellerin her biri arasındaki etkileşimlerden tek bir çok değişkenli tahmin muhasebesi gerçekleştiririz).

Diğer cevabın işaret ettiği gibi, bu düzeltme I tipi hata üzerinde herhangi bir kontrol sağlamaz, ancak çoğu durumda, Bayesian yöntemi tek bir çıkarım ölçeğinde bile böyle bir kontrol sunmaz ve çoklu karşılaştırma için düzeltmenin Bayesian'de farklı düşünülmesi gerekir. ayarı.