Sonuçlara “neredeyse” veya “bir şekilde” önemli olarak bakmak yanlış mı?

Benzer bir soruya ilişkin genel fikir birliği, Sonuçların "son derece anlamlı" olduğunu belirtmek yanlış mı? "yüksek derecede önemli" ifadesinin, önceden belirlenmiş önem eşiğinizin çok altında p değeri olan bir ilişkilendirmenin gücünü tanımlamak için spesifik, ancak spesifik olmayan bir yol olmasıdır. Ancak, eşiğinizin biraz üzerinde olan p değerlerini açıklamaya ne dersiniz ? Bazı makalelerin "biraz önemli", "neredeyse önemli", "önem düzeyine yaklaşma" gibi terimler kullandığını gördüm. Bu terimleri biraz istekli-yıkıcı buluyorum, bazı durumlarda olumsuz sonuçlarla yapılan bir çalışmadan anlamlı bir sonuç çıkarmanın sınırsız bir yolu. Bu terimler, p değeri kesiminizi "özleyen" sonuçları tanımlamak için kabul edilebilir mi?

"Anlamlılık" derecelerinin kabul edilmesine izin vermek istiyorsanız, o zaman yeterince adil ("biraz önemli", "oldukça önemli"), ancak "neredeyse önemli" gibi bir eşik fikrine hala bağlı olduğunuzu gösteren ifadelerden kaçının. , "önem yaklaşıyor" veya "önemsizliğin eşiğinde" ( umutsuz görünmek istemiyorsanız, " Olası Hata " blogunda "Hala Önemli Değil" adlı favorim ).

Benim bakış açımdan, bu konu bir önem testi yapmanın gerçekte ne anlama geldiğine bağlı. Anlamlılık testi ya sıfır hipotezini reddetme ya da reddetmeme kararı verme aracı olarak tasarlanmıştır. Fisher bu (keyfi) kararı vermek için meşhur 0.05 kuralını getirdi.

Temel olarak, anlamlılık testi mantığı, kullanıcının veri toplamadan önce sıfır hipotezini (geleneksel olarak 0.05) reddetmek için bir alfa seviyesi belirtmesi gerektiğidir . Anlamlılık testini tamamladıktan sonra, p değeri alfa seviyesinden küçükse (veya başka türlü reddetmezse) kullanıcı null değerini reddeder.

Bir etkiyi son derece anlamlı (örneğin 0.001 düzeyinde) olarak ilan edememenizin nedeni, bulmaya hazır olduğunuzdan daha güçlü kanıt bulamamanızdır. Bu nedenle, alfa seviyenizi testten önce 0,05 olarak ayarlarsanız, p değerlerinizin ne kadar küçük olduğuna bakılmaksızın yalnızca 0,05 düzeyinde kanıt bulabilirsiniz. Aynı şekilde, "biraz anlamlı" veya "anlamlılığa yaklaşan" etkilerden bahsetmek de pek mantıklı değildir çünkü 0,05 olan bu rastgele kriteri seçtiniz. Anlamlılık testi mantığını tam anlamıyla yorumluyorsanız, 0.05'ten büyük herhangi bir şey önemli değildir.

"Öneme yaklaşma" gibi terimlerin yayınlanma şansını artırmak için sıklıkla kullanıldığını kabul ediyorum. Bununla birlikte, yazarların bunun için suçlanabileceğini düşünmüyorum, çünkü bazı bilimlerdeki mevcut yayın kültürü hala 0.05'in "kutsal kasesine" dayanmaktadır.

Bu konuların bazıları şu konularda tartışılmaktadır:

Gigerenzer, G. (2004). Akılsız istatistikler. Sosyo-Ekonomi Dergisi, 33 (5), 587-606.

Royall, R. (1997). İstatistiksel kanıt: bir olasılık paradigması (Cilt 71). CRC tuşuna basın.

Bu kaygan eğim, sıfır hipotez önem testi (NHST) için Fisher vs Neyman / Pearson çerçevesine geri dönüyor. Bir yandan, bir sonucun sıfır hipotezi altında ne kadar olası olmadığını (örneğin, etki boyutları) nicel olarak değerlendirmek ister. Öte yandan, günün sonunda sonuçlarınızın tek başına şansa bağlı olup olmadığına dair kesin bir karar istiyorsunuz. Sonuçta, tatmin edici olmayan bir tür melez yaklaşım var.

Çoğu disiplinde, anlam için konvansiyonel p 0,05 olarak belirlenmiştir, ancak bunun neden böyle olması gerektiğine dair gerçekten bir temel yoktur. Bir makaleyi gözden geçirdiğimde, metodolojinin sağlam olması ve tüm analizler, şekiller vb.Gibi tüm resmin tutarlı ve inandırıcı bir hikaye anlatması şartıyla, 0.06 anlamlı hatta 0.07 çağıran bir yazarla kesinlikle hiçbir sorunum yok. Sorunlarla karşılaştığınız yer, yazarların küçük efekt boyutlarıyla önemsiz verilerden bir hikaye oluşturmaya çalışmasıdır. Tersine, bir testin geleneksel p <0.05 önemine ulaştığında bile pratik olarak anlamlı olduğuna tamamen 'inanamayabilirim'. Bir meslektaşım bir keresinde şöyle dedi: "İstatistikleriniz, rakamlarınızda zaten görünenleri yedeklemeli."

Hepsi dedi, Vasilev'in doğru olduğunu düşünüyorum. Kırık yayın sistemi göz önüne alındığında, p değerlerini eklemeniz gerekir ve bu nedenle "marjinal olarak" (tercih ettiğim) gibi sıfatlar gerektirse bile, ciddiye alınması için 'anlamlı' kelimesini kullanmanız gerekir. Akran değerlendirmesinde her zaman onunla savaşabilirsin, ama önce oraya gitmelisin.

İki p-değeri arasındaki fark tipik olarak anlamlı değildir. Bu nedenle, p değerinin 0,05, 0,049, 0,051 olması önemli değildir ...

Birliğin kuvvetinin bir ölçüsü olarak p-değerleri ile ilgili olarak: Bir p-değeri, doğrudan bir ilişkinin gücünün bir ölçüsü değildir. Bir p değeri, parametrenin 0 olduğu varsayılırsa, gözlemlediğiniz veriler kadar aşırı veya daha fazla veri bulma olasılığıdır (eğer sıfır hipoteziyle ilgileniyorsa - bkz. Nick Cox'nun yorumu). Ancak, bu genellikle araştırmacının ilgilendiği miktar değildir. Birçok araştırmacı, "parametrenin seçilen bazı kesme değerlerinden daha yüksek olma olasılığı nedir?" Gibi soruları yanıtlamakla ilgilenmektedir. İlgilendiğiniz buysa, modelinize ek ön bilgiler eklemeniz gerekir.

"Neredeyse önemli" nin anlamlı olup olmadığı, kişinin istatistiksel çıkarım felsefesine bağlıdır. Alfa seviyesini kumdaki bir çizgi olarak kabul etmek tamamen geçerlidir, bu durumda sadece veya olup olmadığına dikkat edilmelidir . Böyle bir "mutlakiyetçi" için, "neredeyse önemli" anlamsızdır. Ancak p değerlerini sürekli destek gücü ölçüsü sağlamak olarak düşünmek de mükemmel bir şekilde geçerlidir.$p<\alpha$$p>\alpha$(elbette etki gücü değil). Böyle bir "sürekliist" için, "neredeyse anlamlı" bir sonucu orta derecede p-değeri ile tanımlamanın mantıklı bir yoludur. Sorun, insanlar bu iki felsefeyi karıştırdıklarında ortaya çıkıyor - ya da daha kötüsü, her ikisinin de var olduğunun farkında değil. (Bu arada - insanlar genellikle bu haritayı Neyman / Pearson ve Fisher üzerine temiz bir şekilde kabul ederler, ancak yapmazlar; dolayısıyla benim için kuşkusuz beceriksiz terimler). Bununla ilgili daha fazla ayrıntıyı bu konuyla ilgili bir blog yayınında bulabilirsiniz: https://scientistseessquirrel.wordpress.com/2015/11/16/is-nearly-significant-ridiculous/

Bir şeyin neredeyse istatistiksel olarak anlamlı olduğunu söylemek teknik açıdan doğru değildir. Tolerans seviyenizi ayarladıktan sonra istatistiksel anlamlılık testi yapılır. Örnekleme dağılımları fikrine geri dönmelisiniz. Tolerans seviyeniz 0,05 ise ve 0,053 p değeri elde ediyorsanız, kullanılan numunenin bu istatistiği vermesi tesadüf olabilir. Aynı sonuçları veremeyebilecek başka bir örnek alabilirsiniz - Bence bu gerçekleşme olasılığının örnek istatistiğine değil, ayarlanan tolerans düzeyine dayandığını düşünüyorum. Örnekleri bir popülasyon parametresine göre test ettiğinizi ve örneklerin kendi örnekleme dağılımına sahip olduğunu unutmayın. Bence ya bir şey istatistiksel olarak anlamlı ya da değil.

P değeri, altında üzerinde eşit olarak dağıtılır, bu nedenle p değeri 0.051 ile sonuç almak, 1 değeri p değeriyle sonuç almak kadar olasıdır. veri almadan önce önem düzeyini ayarlayın her p değeri için null değerini reddedersiniz . Null değerinizi reddetmediğiniz için, düzgün dağıtılmış bir p değeri varsaymanız gerekir, daha yüksek veya daha düşük bir değer aslında anlamsızdır.$[0,1]$$\mathcal{H}_0$$p > \alpha$

Null değerini reddettiğinizde bu tamamen farklı bir öyküdür, çünkü p değeri altında eşit olarak dağıtılmaz, ancak dağılım parametreye bağlıdır.$\mathcal{H}_1$

Bkz. Örneğin Wikipedia .