Büyük bir veri kümesi için önem düzeyi nasıl seçilir?

N 200.000 civarında bir veri kümesiyle çalışıyorum. Regresyonlarda, çok küçük etki boyutlarıyla ilişkili çok küçük önem değerleri << 0.001 görüyorum, örneğin r = 0.028. Bilmek istediğim, örneklem büyüklüğü ile ilgili uygun bir anlamlılık eşiğine karar vermenin ilkeli bir yolu var mı? Etki büyüklüğünün bu kadar büyük bir örnekle yorumlanmasında başka önemli hususlar var mı?

— ted.strauss
kaynak

Bu, pratik ve istatistiksel önem taşıyan bir konudur. Eğim 0'dan farklıysa, minik bir miktarda bile olsa, örn. .00000000000001), yeterince büyük bir örnek, pratik bir önemi olmamasına rağmen, çok küçük bir

değeri verecektir . Böyle büyük bir örneklem büyüklüğüne sahip olduğunuzda,

değeri yerine nokta tahminini daha iyi yorumlayabilirsiniz .

p

$p$

p

$p$

— Makro

@Macro Üzgünüm Burada nokta tahmini ile ne demek istediğini açıklayabilir misiniz?

— ted.strauss

Yukarıdaki Makro yorumuna ek olarak, bu durumda, bulgularda "pratik" veya "klinik" önemi ararım. Yaptığınız şey için, etki bakımınız için yeterince büyük mü?

— Michelle

Nokta tahmini, gözlemlenen regresyon eğim tahminidir.

— Makro

@Macro ve ben, klinik etkinin (nokta tahminleri, eğimler) önemli olup olmadığına karar vermeniz gerektiğidir. Eşik değeriniz, "önemli bir p-değeri" yerine "önemli bir klinik etkidir" kararına dayanmaktadır, çünkü p-değerlerinizin çoğu (tümü?) Önemlidir.

— Michelle

Yanıtlar:

İçinde önemi test değersizlik , (1999) Johnson, yeterli veri toplama sıfır hipotezini varsayarak istediğiniz gibi neredeyse her zaman olduğu yanlıştır küçük olarak yapabileceği o p-değerleri, keyfi vardır kaydetti. Gerçek dünyada, tam olarak sıfır olan yarı-kısmi korelasyonlar olma olasılığı düşüktür, bu da bir regresyon katsayısının önemini test etmede sıfır hipotezidir. P-değeri önem kesintileri daha da keyfidir. Anlamlılık ve önemsizlik arasındaki boşluk olarak .05 değeri prensip olarak değil, konvansiyon tarafından kullanılır. Dolayısıyla, ilk sorunuzun cevabı hayırdır, uygun bir anlamlılık eşiğine karar vermenin ilkeli bir yolu yoktur.

Peki, büyük veri kümeniz göz önüne alındığında ne yapabilirsiniz? Bu, regresyon katsayılarınızın istatistiksel önemini araştırmak için nedenlerinize bağlıdır. Karmaşık çok faktörlü bir sistemi modellemeye ve gerçekliğe makul bir şekilde uyan veya öngörmeyi sağlayan kullanışlı bir teori mi geliştirmeye çalışıyorsunuz? O zaman belki daha ayrıntılı bir model geliştirme ve bunun üzerine modelleme perspektifi almayı düşünebilirsiniz, Rodgers (2010), Matematiksel ve İstatistiksel Modelleme Epistemolojisi . Çok fazla veriye sahip olmanın bir avantajı, çok zengin modelleri, çoklu düzeylere ve ilginç etkileşimlere sahip olanları keşfedebilmektir (bunu yapmak için değişkenlere sahip olduğunuzu varsayarak).

Öte yandan, belirli bir katsayıyı istatistiksel olarak anlamlı olarak ele alıp almayacağınıza karar vermek istiyorsanız, Good'in (1982) önerisini Woolley'de (2003) özetlenen olarak almak isteyebilirsiniz : q değerini hesaplama olarak , p değerlerini 100 örnek boyutuna standardize eder. Tam olarak .001'lik bir p değeri, 0,045 olan bir p değerine dönüştürülür - yine de istatistiksel olarak anlamlı. $p\cdot\sqrt{(n/100)}$

Öyleyse, keyfi bir eşik ya da başka bir eşik kullanmak önemliyse, ne olacak? Bu gözlemsel bir çalışma ise, sadece modelinizi yanlış tanımladığınız için ortaya çıkan sahte bir ilişki değil, aslında düşündüğünüz gibi anlamlı olduğunu kanıtlamak için çok daha fazla çalışmanız var. Küçük bir etkinin, bir tedavi etkisinden ziyade farklı tedavi düzeylerine giren insanlar arasında önceden var olan farklılıkları temsil etmesi durumunda klinik olarak ilginç olmadığını unutmayın.

Yorumcuların belirttiği gibi, gördüğünüz ilişkinin pratikte önemli olup olmadığını düşünmeniz gerekir. Dan sen alıntı rakamları dönüştürme için (varyans için açıkladı $r$ $r^2$ kare o varyans açıkladı olsun, korelasyon olduğu) sadece 3 ve% 6 varyans çok gibi görünmüyor hangi sırasıyla izah verir. $r$

— Anne Z.
kaynak

@ rolando2 düzenleme için teşekkürler, her zaman büyük / küçük p değerleri arasında karışıyor! Ben dağıtımın sağ kapalı ise büyük, ama p değeri küçük olduğunu düşünüyorum.

— Anne Z.

(+1) Bu, birçok uygulayıcının dikkatle düşünmediği önemli bir gerçektir: "p-değerleri keyfi, çünkü boş veri hipotezinin yanlış olduğunu varsayarak, yeterli veri toplayarak bunları istediğiniz kadar küçük yapabilirsiniz. neredeyse her zaman öyle. "

— Makro

Teşekkür ederim! Sondan bir önceki paragrafınızdaki puanlar iyi alınmıştır. Woolley makalesini okuyorum ve q değeri formülünüzün kapalı olduğunu fark ettim. P * değil p * olmalıdır. Burada değiştirmeye çalıştım ama düzenlemeler> 6 karakterden oluşmalıdır.

— ted.strauss

@ ted.strauss Yararlı olduğuna sevindim. Bazen birlikte çalışmamız gereken p-değerleri gibi araçların sınırlamalarından dolayı cesaret kırılmış hissediyorum. Formüldeki hatayı not ettiğiniz için teşekkürler, düzelttim.

— Anne Z.

Harika cevap için teşekkürler. Ancak Woolley 2003 belgesine yukarıda verilen bağlantıyı kullanarak erişemiyorum.

— KarthikS

-3

Kontrol etmenin kolay bir yolu, bir dağıtımın iki kez olduğunu bildiğinizden benzer şekilde çok sayıda rastgele örnekleme yapmak ve iki sonucu karşılaştırmak olacaktır. Bunu birkaç kez yaparsanız ve benzer p değerlerini gözlemlerseniz, gerçek bir etki olmadığını gösterir. Öte yandan yapmazsanız, muhtemelen vardır.

— Lars Kotthoff
kaynak

Bence büyük örneklem büyüklüğü ile gerçek bir farkın sıfır hipotezi altında simülasyonlar yapmayı ve

p

$p$ değerlerine öneriyorsunuz. Simülasyonlar yapmadan , sonuçta elde edilen

değerlerinin

oranının , orijinal posterin gözlemlediği kadar küçük olacağını söyleyebilirim . Bu, herhangi bir numune boyutu için geçerlidir. Bu bir

değerinin tanımıdır .

< .001

$<.001$

p

$p$

p

$p$

— Makro

Aslında, tarif ettiğiniz işlemden çıkacak

-değerleri bir

değerine sahip olacaktır.

p

$p$

dağılımına sahip olacaktır.

U n i f o r m (0, 1)

${\rm Uniform}(0,1)$

— Makro

@Macro son açıklama ile ilgili olarak, burada r hipotezi altında kanıtı bir taslağıdır

-değeri vardır

dağılımı. Bir test istatistiği

verildiğinde ,

gözlemlersek ,

değeri

altında olduğunu varsayalım

H_{0}

$H_0$

p

$p$

U [0, 1]

$U[0,1]$

T = T (X)

$T=T(X)$

t = t (x)

$t=t(x)$

p

$p$

p (t) = P (T \geq t ∣ H_{0})

$p(t)=\mathbb{P}(T\geq t\mid H_0)$

H_{0}

$H_0$ arasında dağılım fonksiyonu

olduğu

ile

bunun tersi sahiptir, bu, sürekli ve azalmayan

. Sonra,

T

$T$

G_{0}

$G_0$

G_{0}

$G_0$

G_{0}^{- 1}

$G_0^{-1}$

p (t) = 1 - G_{0} (t)

$p(t)=1-G_0(t)$

u \in [0, 1]

$u\in[0,1]$

— Zen

(Zen'in yorumunun devamı):

P (p (T) \leq u) = P (1 - G_{0} (T) \leq u) = P (G_{0} (T) \geq 1 - u) = P (T \geq G_{0}^{- 1} (1 - u)) = 1 - G_{0} (G_{0}^{- 1} (1 - u)) = u .

$\mathbb{P}(p(T)\leq u) = \mathbb{P}(1-G_0(T)\leq u) = \mathbb{P}(G_0(T)\geq 1-u) = \mathbb{P}(T\geq G_0^{-1}(1-u)) = 1-G_0(G_0^{-1}(1-u))=u \, .$

p (T) ∣ H_{0} \sim U [0, 1]

$p(T)\mid H_0\sim U[0,1]$