Bootstrap anlamlılık testlerinin iki yöntemi

Bootstrap kullanarak iki test yöntemi kullanarak anlamlılık testlerinin p değerlerini hesaplarım:

sıfır hipotezi altında yeniden örnekleme ve sonuçları en azından orijinal verilerden elde edilen sonuç kadar sayma
alternatif hipotez altında yeniden örnekleme ve sonuçların en azından orijinal hipoteze karşılık gelen değer olarak sıfırdan gelen hipoteze karşılık gelen değer kadar sayılması

I 1 inanıyoruz ^st bu p değerinin tanımı şu şekilde yaklaşım tamamen doğrudur. İkincisi hakkında daha az eminim, ancak genellikle çok benzer sonuçlar verir ve bana bir Wald testi hatırlatıyor.

Haklı mıyım? Her iki yöntem de doğru mu? Aynı mı (büyük numuneler için)?

^{İki yönteme örnekler (DWin'in soruları ve Erik'in cevabından sonraki düzenlemeler):

Örnek 1. İki örnek T testine benzer bir önyükleme testi yapalım. Yöntem 1 bir örnekten yeniden örneklenir (orijinal ikisinin havuzlanmasıyla elde edilir). Yöntem 2 her iki numuneden bağımsız olarak yeniden örneklenecektir.

Örnek 2. x₁… xₐ ve y₁… yₐ arasında bir korelasyon önyükleme testi oluşturalım. Metot 1, e ≠ ə olan (xₑ, yₔ) çiftlerine izin veren bir korelasyon ve yeniden örnekleme varsaymaz. Yöntem 2, orijinal (x, y) çiftlerinin bir önyükleme örneğini derleyecektir.

Örnek 3. Madalyonun adil olup olmadığını kontrol etmek için bir bootstrap testi yapalım. Yöntem 1 rastgele örnekler oluşturacaktır Pr (kafa) = Pr (kuyruk) = ½. Yöntem 2, deneysel kafa / kuyruk değerleri örneğini yeniden örnekleyecek ve oranları ½ ile karşılaştıracaktır.}

statistical-significance bootstrap p-value

— winerd
kaynak

Hangi "alternatif hipotez"? Geleneksel Fisherian isimlendirmesinde sadece bir alternatif değil, sonsuz bir alternatif aile olacaktır. Ve bu konuda "hipotez altında nasıl örnek alırsınız"? Veri üzerinde örnekleme yapılır. hipotez bir parametreyle ilgilidir.

— DWin

@DWin: Teşekkürler, lütfen soruma eklenen örneğime bakın.

— winerd

İlk yaklaşım klasik ve güvenilirdir, ancak her zaman kullanılamaz. Null hipotezini varsayarak bootstrap örnekleri almak için ya teorik bir dağılım varsaymaya istekli olmalısınız ( bu ilk seçeneğinizdir ) ya da null hipoteze ( ikinci seçeneğiniz) kaydırıldığında ilgili istatistiğinizin aynı dağılım şekline sahip olduğunu varsaymalısınız. ). Örneğin, olağan varsayım altında, t-dağılımı başka bir ortalamaya kaydırıldığında aynı şekle sahiptir. Bununla birlikte, binom dağılımının 0,5'lik sıfır frekansını 0,025 olarak değiştirirken, şekli de değişecektir.

Deneyimlerime göre, aksi takdirde bu varsayımları yapmaya istekli olmanız durumunda, genellikle başka seçenekleriniz de vardır. Örnek 1) 'de, her iki örneğin de aynı temel popülasyondan gelebileceğini varsaydığınız bir permütasyon testinin daha iyi olacağını düşünüyorum.

Bootstrap güven aralıklarına dayanan başka bir seçenek (2. seçiminiz gibi görünüyor) var. Temel olarak, bu, belirttiğiniz kapsamın bu önemi $\alpha$ içinde yer almayan sıfır hipotezine eşdeğerdir $(1-\alpha)$ -güven aralığı. Örneğin şu soruya bakın: Güven aralıkları ile hipotez testleri arasındaki fark nedir?

Bu çok esnek bir yöntemdir ve birçok test için geçerlidir. Bununla birlikte, sadece Wald yaklaşımlarını veya yüzdelik yöntemi kullanmakla kalmayıp, iyi bootstrap güven aralıkları oluşturmak çok önemlidir. Bazı bilgiler burada: Bootstrap tabanlı güven aralığı

— Erik
kaynak

Güzel cevap. Yani ikinci seçenek simetriklik de gerektiriyor mu? Güven aralığınızın ortalamasının 0'dan büyük olduğunu ve H'nin 0 olduğunu düşünmediğinizi varsayalım. Sonra, 0'ın güven aralığınızda olduğu yere bakmak, H'nin ( güven aralığını değiştirdiğinizi varsayarsanız, bunlar iki farklı yöndedir).

— michal

@erik, benzer bir soruya yeni bir ödül başlattı - temel olarak yukarıdaki yorumun uzun bir rüzgarlı versiyonu - seçenek 2 ne zaman ve hangi koşullar altında kullanılabilir? stats.stackexchange.com/questions/175659/…

— Xavier Bourret Sicotte