Benjamini ve Hochberg , yanlış keşif oranını (FDR) kontrol etmek için ilk (ve hala en çok kullanılan bence) yöntemi geliştirdi.

Her biri farklı bir karşılaştırma için bir grup P değeri ile başlamak ve hangisinin “keşif” olarak adlandırılacak kadar düşük olduğuna karar vermek, FDR'yi belirli bir değerle kontrol etmek istiyorum (% 10). Alışılmış yöntemin bir varsayımı, karşılaştırma kümesinin ya bağımsız olduğu ya da "Olumlu bağımlılık" olduğudır ancak bu ifadenin bir dizi P değerini analiz etme bağlamında ne anlama geldiğini tam olarak çözemiyorum.

Sorunuzun itibaren ve diğer cevaplara Yorumlarınızı özellikle, bu esas olarak burada "büyük resmi" konusunda kafaları karışık geliyor bana: yani, ne "olumlu bağımlılık" bu bağlamda atıfta hiç - aksine neyi PRDS koşulunun teknik anlamıdır. Bu yüzden büyük resim hakkında konuşacağım.

Büyük resim

Eğer test ediyoruz düşünün geçersiz hipotezleri, ve hepsi gerçek zannetmektedir. N p değerlerinin her biri rastgele bir değişkendir; tekrar tekrar ve deney tekrar differnet doğuracak s biri bir dağılımı hakkında konuşmak,-değeri her zaman p (null altında)-değerlerinin. Herhangi bir test için boş değerin altındaki p değerlerinin dağılımının tek tip olması gerektiği iyi bilinmektedir ; yani çarpma testi durumunda, tüm $N$$N$ $p$$p$$p$$p$$N$ değerlerinin marjinal dağılımları eşit olacaktır.$p$

Tüm veriler ve tüm testleri birbirinden bağımsızsa , p değerlerinin eklem N boyutlu dağılımı da aynı şekilde olacaktır. Bu, örneğin, bir sürü bağımsız şey test edildiğinde, klasik bir "jöleli fasulye" durumunda geçerli olacaktır:$N$$N$$p$

Ancak, böyle olmak zorunda değildir. Herhangi bir -değeri çifti, prensip olarak, pozitif veya negatif olarak ilişkilendirilebilir veya daha karmaşık bir şekilde bağımlı olabilir. Dört grup arasındaki ortalama çift farkları test etmeyi düşünün; bu , N = 4 ⋅ 3 / 2 = 6 testleri. Sadece altı p değerinden her biri eşit olarak dağılmıştır. Ancak hepsi pozitif olarak ilişkilidir: eğer (belirli bir girişimde) A grubunun tesadüfen özellikle düşük ortalamaları varsa, A-vs-B karşılaştırması düşük bir p değeri verebilir (bu yanlış bir pozitif olur). Fakat bu durumda, A-vs-C'nin yanı sıra A-vs-D'nin de düşük p vermesi olasıdır.$p$$N=4\cdot 3/2=6$$p$$p$$p$-değerleri. Dolayısıyla, değerleri açıkça bağımsız değildir ve ayrıca birbirleriyle pozitif korelasyon içindedirler.$p$

Bu, gayri resmi olarak, "olumlu bağımlılığın" ne ifade ettiğidir.

Bu çoklu testlerde ortak bir durum gibi görünüyor. Başka bir örnek, aralarında bağıntılı olan çeşitli değişkenlerdeki farklılıkları test etmek olacaktır. Bir tanesinde önemli bir fark elde etmek, diğerinde önemli bir fark edinme şansını arttırır.

değerlerinin "negatif olarak bağımlı" olacağı doğal bir örnek bulmak zor . @ user43849, yukarıdaki açıklamalarda, tek taraflı testler için kolay olduğunu belirtti:$p$

A = 0 olup olmadığını ve aynı zamanda tek kuyruklu alternatiflere (A> 0 ve B> 0) karşı B = 0 olup olmadığını test ettiğimi hayal edin. Ayrıca B'nin A'ya bağlı olduğunu hayal edin. Örneğin, bir popülasyonun erkeklerden daha fazla kadın içerip içermediğini ve ayrıca popülasyonun testislerden daha fazla yumurtalık içerip içermediğini bilmek istediğimi hayal edin. Açıkça ilk sorunun p-değerini bilmek, ikinci için p-değeri beklentimizi değiştiriyor. Her iki p değeri de aynı yönde değişir ve bu PRD'dir. Fakat bunun yerine, popülasyon 2'nin yumurtalıklardan daha fazla testise sahip olduğu ikinci hipotezini test edersem, ilk p değeri arttıkça ikinci p değeri beklentimiz azalır. Bu PRD değil.

Ama şimdiye kadar nokta boşluğu olan doğal bir örnek bulamadım.

Şimdi, Benjamini-Hochberg prosedürünün geçerliliğini garanti eden "pozitif bağımlılık" ın tam matematiksel formülasyonu oldukça zordur. Diğer cevaplarda belirtildiği gibi, ana referans Benjamini ve Yekutieli 2001 ; PRDS özelliğinin ("her bir alt kümeden her birine pozitif regresyon bağımlılığı") Benjamini-Hochberg prosedürü gerektirdiğini gösteriyorlar. Bu, PRD'nin ("pozitif regresyon bağımlılığı") özelliğinin rahat bir şeklidir, yani PRD'nin PRDS'yi uyguladığı ve dolayısıyla Benjamini-Hochberg prosedürünü gerektirdiği anlamına gelir.

PRD / PRDS tanımları için bkz @ user43849 cevabı (+1) ve Benjamini & Yekutieli makalesi. Tanımlar oldukça teknik ve ben bunların sezgisel bir anlayışa sahip değilim. Aslında, B&Y diğer ilgili kavramlardan da bahsetmektedir: ikinci mertebeden (MTP2) çok değişkenli toplam pozitiflik ve pozitif ilişki. B&Y'ye göre, şu şekilde ilişkilidir (diyagram benimdir):

$\hskip{10em}$

MTP2, BH prosedürünün doğruluğunu garanti eden PRDS'yi ima eden PRD'yi ifade eder. PRD ayrıca PA anlamına gelir, ancak PA PRDS.$\ne$

Harika soru! Geri adım atalım ve Bonferroni'nin ne yaptığını ve Benjamini ve Hochberg'in alternatif oluşturması için neden gerekli olduğunu anlayalım.

Son yıllarda çoklu test düzeltmesi adı verilen bir prosedürün uygulanması zorunlu ve zorunlu hale gelmiştir. Bunun nedeni, yüksek verimlilik bilimleriyle, özellikle de tüm genom birlikteliği çalışmalarının (GWAS) ortaya çıkmasıyla birlikte genetikte) artan test sayılarıdır. Çalışma alanım olduğu için genetik referansım. aynı anda 1.000.000 test yapıyorsak , 50 , 000 yanlış pozitif bekleriz . Bu inanılmaz derecede büyük ve bu nedenle önem derecesinin değerlendirilme seviyesini kontrol etmeliyiz. Bonferroni düzeltmesi, yani kabul eşiğinin (0.05) bağımsız test sayısına ( 0.05 / ) bölünmesidir.$P = 0.05$$50,000$$(0.05/M)$ ailedeki bilge hata oranını düzeltir ( ).$FWER$

FWER testi-bazlı hata oranı ile ilgili olduğu için bu durum geçerlidir ( ) denklemi ile F W e R = 1 - ( 1 - T W e R ) M . Yani, yüzde 100 eksi 1 gerçekleştirilen bağımsız test sayısının gücüne yükseltilen test hata oranını çıkarır. Bu varsayımı yaparak ( 1 - 0.05 ) 1 / M = 1 - $TWER$$FWER = 1 - (1 - TWER)^M$ veren, TWER≈$(1- 0.05)^{1/M} = 1-\frac{0.05}{M}$ , M için tamamen bağımsız testler için ayarlanan kabul P değeridir.$TWER \approx \frac{0.05}{M}$

Şu anda karşılaştığımız sorun, Benjamini ve Hochberg gibi, tüm testlerin tamamen bağımsız olmamasıdır. Bu nedenle, Bonferroni düzeltmesi, sağlam ve esnek olmasına rağmen, bir düzeltmedir . Bağlantı dengesizliği denilen bir durumda iki genin bağlandığı genetikteki durumu düşünün; yani, bir gende mutasyon olduğunda, diğerinde ifade edilme olasılığı daha yüksektir. Açıkçası, bağımsız testler olmadığı açıktır, ancak bonferroni düzeltmesinde kabul edildikleri varsayılmaktadır. . P değerini M'ye bölmenin, birbirimizi gerçekten etkileyen varsayılan bağımsız testler nedeniyle yapay olarak düşük bir eşik oluşturduğunu görmeye başlıyoruz, gerçek durumumuz için çok büyük bir M yaratıyor, ergo bağımsız değil.

Benjamini ve Hochberg tarafından önerilen ve Yekutieli (ve diğerleri) tarafından artırılan prosedür Bonferroni'den daha liberaldir ve aslında Bonferroni düzeltmesi sadece şu an en çok yapılan araştırmalarda kullanılmaktadır. Bunun nedeni, FDR'de, testler kısmına biraz bağımlılık olduğumuzu varsayıyoruz ve bu nedenle çok büyük ve gerçekçi olmayan ve gerçekte umursadığımız sonuçlardan kurtulan bir M. Bu nedenle, bağımsız olmayan 1000 test durumunda, gerçek M 1000 olmaz, ancak bağımlılıklar nedeniyle daha küçük bir şey olur. Bu yüzden 0,05'i 1000'e böldüğümüzde eşik çok katıdır ve ilgilenilen bazı testlerden kaçınır.

Bağımlılık kontrolünün ardındaki mekaniği önemsiyor musunuz emin değilim, ancak bunu yaparsanız referans için Yekutieli kağıtlarını bağladım. Ayrıca bilgileriniz ve merakınız için birkaç şey daha ekleyeceğim.

Umarım bu bir şekilde yardımcı olmuştur, eğer bir şeyi yanlış bildirmişsem, lütfen bana bildirin.

~ ~ ~

Referanslar

Yekutieli olumlu bağımlılıklar hakkında bildiri - http://www.math.tau.ac.il/~ybenja/MyPapers/benjamini_yekutieli_ANNSTAT2001.pdf

(bkz. 1.3 - Sorun.)

Nature Genetics incelemeleri - Bonferroni ve diğer ilgi alanlarının açıklaması. Büyük ölçekli genetik çalışmalarda İstatistiksel Güç ve anlamlılık testi - Pak C Sham ve Shaun M Purcell

(bkz. kutu 3.)

http://en.wikipedia.org/wiki/Familywise_error_rate

DÜZENLE:

Önceki cevabımda, doğrudan sorulan pozitif bağımlılığı tanımlamamıştım. Yekutieli belgesinde, bölüm 2.2Olumlu bağımlılık başlığına sahiptir ve bunu çok ayrıntılı olarak öneriyorum. Ancak biraz daha özlü yapabileceğimize inanıyorum.

$I_0$$I_0$

$X$$I_0$$X$$I_0$$X$$I_0$$x$$X$

$P$

Özetle, pozitif bağımlılık özelliği gerçekten tüm test istatistik setlerimizdeki gerçek regresyon bağımlılığımızın gerçek null test istatistikleri grubumuzdaki pozitif regresyon bağımlılığı özelliğidir ve 0.05 FDR için kontrol ederiz; Böylece P değerleri aşağıdan yukarıya doğru yükseldikçe (yukarı-adım prosedürü), boş kümenin bir parçası olma olasılıkları artar.

Kovaryans matrisi ile ilgili yorumlardaki eski cevabım yanlış değildi, sadece biraz belirsizdi. Umarım bu biraz daha yardımcı olur.

Bu baskı öncesi anlamını anlamada yararlı buldum . Bu cevabı konudaki bir uzman olarak değil, topluluk tarafından onaylanıp onaylanmayı anlama girişimi olarak sunduğumu söylemek gerekir.

Amip için, PRD ile PRDS arasındaki farklar hakkındaki çok yararlı gözlemler için teşekkürler.

$p$$C$$p$$C$

1. $q$$C$
2. $r$$q$$r$$q$$r_i < q_i$$i$
3. $r$$C$

$C$

Bazı öğelerinin değerleri hakkında bir şeyler bildiğimizi varsayalım . Yani, p 1 . . $p$$p_1 ... p_{n} < B_1 ... B_n$$p$$C$$B_1 ... B_n$

Sade bir dilde, herhangi bir öğe için bir beklenti oluşturabileceğimize dikkat edin . Yana p ı gerçek boş tekabül bu koşulsuz beklenti, 0 ve 1 tek tip dağıtım olmak Ama olmalıdır var p değerleri bizim koşullu beklenti daha sonra, bağımsız değilse$p_i$$p_i$$p_i$$p_1 ... p_n$$p_1 ... p_n$$p_i$

$p_1 ... p_n$

Sade bir dilde yeniden ifade etmek için: gerçek boş hipotezlere karşılık gelen p-değerleri setini tekrar düşünün. Bu p değerlerinden herhangi biri için (onu arayın)$p_n$$p_n < B$$B$$p_n < B$$p_n < B$$B$

Eklemek için düzenlendi:

İşte PRDS olmayan bir sistemin varsayılan örneği (aşağıdaki R kodu). Mantık, a ve b örnekleri çok benzer olduğunda, ürünlerinin atipik olması daha muhtemeldir. Bu etkinin (ve (a*b), (c*d)karşılaştırma için boş değer altındaki p-değerlerinin tek biçimliliği değil) p-değerlerindeki negatif korelasyonu etkilediğinden şüpheleniyorum , ancak emin olamıyorum. Aynı etki, ikinci karşılaştırma için (bir Wilcoxon yerine) bir t testi yaparsak ortaya çıkar, ancak p-değerlerinin dağılımı normalde varsayımın ihlali nedeniyle muhtemelen tekdüze değildir.

ab <- rep(NA, 100000)  # We'll repeat the comparison many times to assess the relationships among p-values.
abcd <- rep(NA, 100000)

for(i in 1:100000){
  a <- rnorm(10)    # Draw 4 samples from identical populations.
  b <- rnorm(10)
  c <- rnorm(10)
  d <- rnorm(10)

  ab[i] <- t.test(a,b)$p.value          # We perform 2 comparisons and extract p-values
  abcd[i] <- wilcox.test((a*b),(c*d))$p.value
}

summary(lm(abcd ~ ab))    # The p-values are negatively correlated

ks.test(ab, punif)    # The p-values are uniform for the first test
ks.test(abcd, punif)   # but non-uniform for the second test.
hist(abcd)

Bunların içinde kağıt , Benjamini ve Yekutieli pozitif regresyon bağımlılığı (PRD) sadece pozitif bağlantılıdır farklıdır kadar bazı örnekler sağlar. FDR kontrol prosedürü, PRDS adını verdikleri daha zayıf bir PRD formuna dayanır (yani, her birinde PRD değişkenlerinin bir alt grubundan).

Olumlu bağımlılık başlangıçta Lehmann tarafından iki değişkenli ortamda önerildi , ancak pozitif regresyon bağımlılığı olarak bilinen bu kavramın çok değişkenli versiyonu, çoklu testle ilgili olan şeydir.

İşte pg.6'dan ilgili bir alıntı

$\mathbf{X}$$(\mathbf{X}_1, \mathbf{X}_2)$$\mathbf{X}$$h(\mathbf{X}_1)$$\mathbf{X}_2$$h(\mathbf{X}_1)$

$$\ldots$$

Bu durumda pozitif bağımlılık, test setinin pozitif olarak ilişkili olduğu anlamına gelir. Öyleyse, P-değerlerine sahip olduğunuz testler dizisindeki değişkenler ile pozitif korelasyon varsa, değişkenlerin her birinin bağımsız olmadığıdır .

Örneğin, bir Bonferroni p-değeri düzeltmesi hakkında düşünürseniz, önem eşiğinizi 0.1 / 100 = 0.001 olarak ayarlayarak 100 istatistiksel bağımsız testler üzerinde tip 1 hata oranının% 10'dan az olduğunu garanti edebilirsiniz. Ancak, bu 100 testin her biri bir şekilde bir korelasyon gösteriyorsa? O zaman gerçekten 100 ayrı test yapmadın.

FDR'de, fikir Bonferroni düzeltmesinden biraz farklıdır. Buradaki fikir, önemli olduğunu beyan ettiğiniz şeylerin yalnızca belirli bir yüzdesinin (% 10) yanlış bir şekilde önemli olduğunu beyan etmektir. Veri kümenizdeki işaretleyicileri (pozitif bağımlılık) ilişkilendirdiyseniz, FDR değeri yaptığınız toplam test sayısına göre seçilir (ancak istatistiksel olarak bağımsız testlerin gerçek sayısı daha küçüktür). Bu şekilde, sahte keşif oranının P-değerleri kümenizdeki testlerin% 10 veya daha azını önemli ölçüde ilan ettiğini yanlış söylemek daha güvenlidir.

Lütfen bunu görün Olumlu bağımlılık tartışması için kitap bölümüne .