Şimdi sıfır hipotezi reddettiğimde sırada ne var?

Zaman ve tekrar reddetti veya boş hipotezi reddetmek için başarısız oldu . Davanın reddedilmemesi durumunda, reddedilmeniz için yeterli kanıt olmadığı ve “devam ettiğiniz” (yani, daha fazla veri toplamak, deneyi bitirmek vb.) Sonucuna varırsınız.

Ancak, boş hipotezi “yaptığınız” zaman , alternatif hipotez için bazı kanıtlar sağlayarak , alternatif hipotezinizin gerçekten de geçerli olduğunu gerçekten kanıtlayamazsınız.

Peki, boş hipotezi reddettiğinizde bir sonraki ortak adımlar nelerdir? Bulguların daha kesin olması için "problemi daha fazla analiz etmek" için hangi araçlar / teknikler kullanılmaktadır? Daha fazla analiz yapılmasını gerektiren bir istatistikçinin mantıklı "sonraki adımlar" nedir?

Örneğin:

$H_0: \mu_1 = \mu_0$

$H_1: \mu_1 > \mu_0$ (beklenen yönü bildiğimizi söyleyin)

Boş hipotezi bir anlamlılık düzeyinde reddettiğimizde, alternatifin doğru olması için "bazı kanıtlarımız" var, ancak bu sonucu çıkaramıyoruz. Gerçekten bu sonucu kesin olarak çıkarmak istersem (ikili kelime oyunu affedilirse) ne yapmalıyım?

Bu soruyu lisans günlerim boyunca hiç düşünmedim ancak şimdi bir miktar hipotez testi yapıyorum çünkü yardımcı olamıyorum ama ne olacağını merak ediyorum :)

Genel olarak, daha fazla veriyle test ettiğiniz parametrelerin tahminini geliştirmeye devam edebilirsiniz. Bir test, yarı keyfi bir önem derecesine ulaştığında veri toplamanın durdurulması, kötü çıkarımlar yapmak için iyi bir yoldur. Analistlerin, işin yapıldığına dair bir işaret olarak önemli bir sonucu yanlış anlayabilecekleri, insanların yorumladıklarına göre, Neyman-Pearson çerçevesinin beklenmeyen sonuçlarından biri olduğuna işaret ediyor. p değerlerini reddetme ya da reddetme başarısızlığına neden olarak reddetme ya da reddetme başarısızlığı olarak . Kritik eşiğin hangi tarafında kalıyorlar.

Sık sık paradigmaya Bayesyen alternatifleri göz önüne alınmadan (umarım bir başkası olacaktır), güven aralıkları, temel bir boş hipotezin reddedilebileceği noktadan çok daha bilgilendirici olmaya devam etmektedir. Daha fazla veri toplamanın yalnızca temel anlamlılık testinizin daha da büyük bir önem kazanmasını sağladığını varsayalım (ve daha önceki anlamlılık bulmanızın yanlış bir pozitif olduğunu ortaya çıkarmayın), bunu gereksiz bulursunuz; Bununla birlikte, bu senaryoda, söz konusu parametre etrafındaki güven aralığınız, ilgilendiğiniz nüfusu tam olarak tanımlayabileceğiniz güven derecesini artırarak küçülmeye devam edecektir.

$\mu=0$

One Sample t-test

data:  rnorm(99) 
t = -2.057, df = 98, p-value = 0.04234
alternative hypothesis: true mean is not equal to 0 
95 percent confidence interval:
 -0.377762241 -0.006780574 
sample estimates:
 mean of x 
-0.1922714

t.test(rnorm(99))$\alpha=.05$rnorm

set.seed(8);t.test(rnorm(99,1))$\mu=[.69,1.12]$

$\mu=.8$mu=.8

set.seed(8);t.test(rnorm(999,1),mu=.8)$\mu=0$$\mu=.8$$\mu=[.90,1.02]$$\mu=.89$

$H_0:\mu=.9$set.seed(9);t.test(rnorm(999,1),mu=.9)

Aşamalı olarak daha katı null hipotezleri test etmek ya da daha iyisi, sadece güven aralıklarını küçültmeye odaklanmak ilerlemenin bir yoludur. Tabii ki, boş hipotezi reddeden çoğu çalışma, alternatif hipotezi temel alan diğer çalışmalar için zemin hazırlamaktadır. Örneğin, bir korelasyonun sıfırdan büyük olduğuna dair alternatif bir hipotez test ediyor olsaydım, daha sonraki bir takip çalışmasında arabulucular veya moderatörler için test yapabilirdim ... Orijinal sonucu kopyalayabilirim.

Dikkate alınması gereken diğer bir yaklaşım ise denklik testidir. Bir parametrenin, yalnızca tek bir değerden farklı olarak, belirli bir olası değerler aralığında olduğu sonucuna varmak istiyorsanız, parametrenin konvansiyonel alternatif hipotezinize göre yatmasını isteyip istemediğinizi belirleyebilirsiniz. Birlikte, parametrenin bu aralığın dışında kalma olasılığını temsil eden farklı bir boş hipotez grubuna karşı. Bu son olasılık, yazarken aklınızdakilere en çok benzeyebilir:

Alternatifin doğru olması için "bazı kanıtlarımız" var, ancak bu sonucu çıkaramıyoruz. Gerçekten bu sonucu kesin olarak çıkarmak istersem ...

set.seed(8)rnorm(99)rnorm(99,1)-1$\mu=.8$$-.2\le\mu\le.2$

require(equivalence);set.seed(8);tost(rnorm(99),epsilon=.2)

tost$\mu=[-.27,.09]$rnorm(999)$\mu=[-.09,.01]$

Hala güven aralığının denklik testi sonucundan daha ilginç olduğunu düşünüyorum. Verilerin popülasyonun ne anlama geldiğini alternatif hipotezden daha belirgin olduğunu gösterir ve alternatif hipotezde belirttiğimden daha küçük bir aralıkta yer aldığından oldukça emin olabileceğimi ileri sürmektedir. Göstermek için, gerçekçi olmayan simülasyon güçlerimi bir kez daha kötüye kullanacağım ve şunu kullanarak "kopyalayacağım" set.seed(7);tost(rnorm(999),epsilon=.09345092): tabii ki, p = .002.

Öncelikle @Nick Stauner'ın isteğe bağlı durdurma ile ilgili bazı önemli argümanlarda bulunduğunu unutmayın . Verileri örnekler gelirken tekrar tekrar test ederseniz, bir test önemli olduğunda bir kez durursanız, önemli bir sonuç elde edersiniz. Ancak, garantili bir sonuç pratikte değersizdir.

Aşağıda, tümdengelimci, şüpheci, sahtecilikçi bir pozisyon üzerinde yoğunlaşmak için elimden geleni yapacağım. Kesinlikle tek değil, ama bence oldukça geleneksel olanı veya en azından biraz geleneği olan birini düşünüyorum.

Anladığım kadarıyla, Fisher başlangıçta veri araştırmasında ilk adım olarak önem testleri başlattı - hangi faktörlerin daha fazla araştırılmaya değer olacağını belirleyin. Teste eklediğiniz boş hipotez aslında sizin tercih ettiğiniz teoriye dayanan kritik bir varsayım değildi (bir şekilde), bir şekilde, ilk testiniz doğada keşfedici oldu. Keşif sonrası olası adımlar arasında

• Daha fazla keşif
• Parametre Tahmini
• Tahmin ve Onay

Daha fazla keşif , orta veya bilginizle ilgili herhangi bir değişkeniniz varsa etkinizle etkileşime girip girmediğini anlamak için çıkarım yapmaya çalıştığınız takip testlerinden oluşur. Örneğin, belki katılımcıların yaşı bir rol oynar? Bu tür analizlerin açıkça keşif olarak etiketlenmesi gerektiğini ya da temelde yalan söyleyebildiklerini unutmayın. Bir şeye rastlarsan, önce onay gerektirir. Genel olarak, hem düşüncelerinizde hem de yazılarınızda, her zaman açıklayıcı olduğunuzda ve doğrulayıcı olduğunuzda net olmalısınız.

Sonra, bir parametrenin değerinin tam olarak sıfır olduğuna güvenmediğinizi belirledikten sonra - karar verdikten sonra, test etmekte olan faktörün bazı etkilere sahip olduğunu düşüneceksiniz - bir sonraki adım, uygun bir değeri daha kesin olarak tahmin etmek olabilir. parametrenin . Örneğin, şimdilik sadece bir değeri 0 hariç tuttunuz (iki taraflı test varsayarak). Ancak, verileriniz daha birçok olası değerden de şüphe duyuyor.

A (100-$\alpha$)% Güven Aralığı / CI , p <'de reddedilmeyen parametre değerleri aralığını içerir.$\alpha$Daha olası birçok hipoteze karşılık, verileriniz aynı zamanda ilk H0’ınızın ötesinde endişe duymaktadır. Testiniz önemli olduğundan, H0 ile ilişkili değer bunların arasında değildir. Ancak birçok aşırı büyük ve küçük değer de dışlanacaktır.

Hume, tartışmaya açık bir şekilde asla bir ifadeyi ispatlayamayacağımızı savundu. Genel olarak, önemsiz olmayan hipotezler her zaman tahrif etmekten, desteklemekten daha kolaydır; prensipte tahrif edilmesi kolay olmak (önemsiz olmak, kesin tahminlerde bulunmakla birlikte), ancak şimdiye kadar tahrif edilmemek aslında bir teorinin en yüksek erdemlerinden biridir.

Yani bir CI belirli bir değeri kanıtlamanıza yardımcı olmaz. Ancak, aday grubu daraltmaktadır. Belki de hayatta kalan tek aday, her ikisi de H0 ile uyumlu olmayan iki teori arasında karar vermenize yardımcı olur. Örneğin, belki 0 dışlanır, ancak teori 1, 5 civarında bir değer öngörür ve teori 2, 15 civarında bir değer öngörür.% 95 CI'niz 5'i içeriyorsa, ancak 15'i hariç tutarsa, teori 2'ye olan güveninizi de kaybettiniz, ancak teori Oyunda 1 tane kaldı. Bunun aslında ilk testinizin önemli olmasından bağımsız olduğunu unutmayın - 0 reddedilmemiş değerler arasında olsa bile, birçok değer reddedilir. Belki başka araştırmacılar için bu değerlerin bazıları ilgi çekiciydi.

Elinizdeki etki hakkındaki anlayışınızı bir şekilde belirledikten sonra, mevcut analizinizden elde edebileceğiniz daha kesin bir hipotezi test etmeyi amaçlayan bir izleme teyit deneyi için ideal olarak daha kesin bir tahmin yapabilirsiniz. Kuşkusuz, ilk istatistiksel boş hipotezinizi reddetmek, orijinal araştırma hipotezinizi test etmekten ciddi değildi, değil mi? Tercih ettiğinden çok daha fazla açıklama H0'ye bağlı değildir. Ayrıca, aslında H0'ı kabul etme tehlikesi yaşamadığınız için , tercih ettiğiniz teoriyi tahrif edecek konumda değildiniz ! Yani daha fazlasına ihtiyacınız var ciddi bir teste. Muhtemelen, aslında istediğin bu; Teorinizi ispatlamak istemezsiniz, giderek daha ağır testlere sokmak, onu tahrif etmeye çalışmak istersiniz. Bunu kanıtlamaya yönelik gerçek (ama adil) çabalara rağmen, bir teorinin sağlayabileceği en iyisidir. Ancak ciddi bir test için, "0 değil" den daha kesin bir teoriye ihtiyacınız var.

Artık doğrulayıcı bir çalışma ile ilgili birçok önemli gerçeği öğrendiniz; örneğin, söz konusu varyans ve etki büyüklüğü hakkında bir fikriniz var, böylece güç analizi yoluyla bir takip çalışması için gereken örneklem büyüklüğünü tahmin etmenize izin veriyor. Ayrıca belirli bir değeri tahmin edebilir ve çevresinde pratik bir eşdeğerlik / ROPE bölgesi varsayabilirsiniz . Bu özel değerin gerçek değer olduğunu asla ispat edemezsiniz; Bununla birlikte, bir izleme denemesinin CI'si tamamen ROPE'nizin içine düşerse, teoriniz için doğrulayıcı kanıtlara sahipsiniz (ve muhtemelen rekabete dert açtınız).

Olumlu bir bilimsel öneriyi ispatlayamayacağınız, ancak yalnızca birini ispatlayamayacağınız fikri, Popper'in sahtecilikçiliğinin bir ilkesidir . Bir etkinin verilen herhangi bir puan değerine tam olarak eşit olduğunu kanıtlayamayacağınıza katılıyorum (cf., buradaki cevabım: İstatistikçiler niçin önemsiz bir sonucun, sıfır hipotezini kabul etmek yerine "null reddedemezsiniz" anlamına geldiğini söyler? ). Ama ne olmuş yani?

İnsanlar (veya en azından I ) hipotez testleri hakkında çok fazla şikayet ediyorlar. Bunun nedeni ise$p$Değerler genellikle yanlış anlaşılır ve mantıksal olarak başaramadıkları işler için hipotez testleri kullanılır. Örneğin, hipotez testleri, hipotez üretmek veya değişken seçmek için kullanılmamalıdır. Dahası, gözlemsel verilerle temelde tüm 'sıfır' boş hipotezlerin yanlış olması gerekir, bu nedenle test etmenin anlamı yoktur. Bununla birlikte, bilim adamları sık sık test etmek istedikleri teoriler tarafından öne sürülen bir önceden-varsayım hipotezleri vardır ve gerçek bir deneyde sıfır gibi bir şey doğru olabilir, bu nedenle test etmek kesinlikle mantıklıdır. Tipik olarak, araştırmacıların boş değerin yanlış olabileceğinden şüphelenmek için bazı nedenleri vardır, bu nedenle güçlü bir deneyle birlikte önemli bir sonuç geçerli bir bilgi parçasıdır.

Tahmininizin kesinliğini daha net bir şekilde görmek için her zaman güven aralıklarını oluşturabilir ve hassasiyetini artırmak için daha fazla veri toplamaya devam edebilirsiniz. Bununla birlikte, ekonomik açıdan azalan getirileri alacaksınız . Bir noktada, boş hipotezin incelenen olguyu makul bir şekilde açıkladığına inanmıyorsunuz. Bu durumda, neden canını sıkıyorsun?

Alanınızda henüz ikna olmamış, ancak daha fazla (aynı) veriyle olacak başka kişiler varsa, o zaman devam edebilirsiniz, ancak bu nadir bir durum gibi görünüyor. Şüphecilerin, bu sorgu hattının altında yatan soru hakkında yeterince bilgi sahibi olup olmadığına dair başka, önemli endişeleri olduğu daha muhtemel görünüyor. Bu nedenle, bu endişelerin niteliğini belirlemelisiniz ve çalışmayı hak ettiklerini düşünüyorsanız, eldeki sorunları daha iyi ele alan farklı veriler araştırın. Örneğin, farklı bir ölçüm kullanarak, farklı bir ayarda ve / veya farklı kontrol koşullarında bulguyu çoğaltmayı deneyebilirsiniz.

Öte yandan, herkes (az ya da çok) verilerinizden ve sonuçlarınızdan memnun olabilir (tebrikler!). Böyle mutlu koşullar altında, araştırma programınızı daha ileriye götürmek için izleyebileceğiniz iki yol vardır:

1. bir indirgemeci yaklaşım kurduk etkiyi mekanizmaları anlamak isteyeceği. İstatistiksel olarak, genellikle arabulucular ve / veya ilişkili olduğunu düşündüğünüz değişkenleri birbirine bağlayan nedensel kuvvetlerin düzenini incelemek istiyorsunuz.

2. Bulgularınızı daha geniş bir kalıba entegre etmek için arayarak diğer yöne de hareket edebilirsiniz. Bu bir tür sistem düşüncesidir . GH Hardy bir zamanlar bir teorinin şıklığını, yarattığı epistemik kaymanın kolaylığı ve büyüklüğü ile birlikte açıklayabileceği fenomenler aralığı olarak tanımladı . Elbette, kurduğunuz fenomen oldukça derin olduğu için çok şanslı olmayabilirsiniz , ancak yine de kendisinden daha büyük bir şeyin parçası olabilir. Arasında bir bağlantı kurulması$B$ ve $C$ bu onu görmeyi mümkün kılar $A$ Birleşik fenomenleri bir araya getirmek süreç için önemli olabilir ve keşfedilmesi kadar kristalize edici bir an kadar olabilir. $A$ kendisi.

tl; dr: Amaçlarınız için sıfırın yanlış olduğuna dair yeterli kanıtınız varsa, hangi teorik olarak motive edilmiş soruları cevaplamaya ve devam etmeye çalışabileceğinizi belirleyin.

Söylemek istediğim bir şey, sorunuzun bana kendi kendime olan gençlik özlemi hatırlatmasıdır: Hipotezimi umutsuzca kanıtlamak istedim çünkü yazdığım kağıdın geliştirilmesine yardımcı olacak şekilde "hipotezin hatalı olduğunu" nasıl yazamadım . Ama sonra "lanet olası güzel hipotezimin kanıtlanamadığını" da bilimsel değere sahip olduğunu fark ettim: 1. Hipotezinizin neden su tutmadığını düşünün. Verilerle ilgili bir sorun mu yoksa muhtemelen hipotezin kendisinde olan bir şey mi? 2. Daha eski araştırmaların sonuçları nelerdir?

Örnek olarak, daha önce yeni veri kümelerinden daha büyük olan yeni bir veri kümesi kullanarak master'ımın etnik karışıklık konusundaki tezini yazdım. “Petrol yakıtları etnik çatışması” veya “dağlık bölgelerin çatışmanın sona ermesi daha muhtemel” gibi birkaç tartışmalı hipotezi test ettim. Petrolün etnik çatışmayı körüklediğini kanıtlayamadım - ancak mevcut petrol veri setinin kalitesinin analizi nasıl etkilediğiyle ilgili iki sayfa yazdım (veri setinin kendisi bir zaman serisidir, petrol kuyusu veri setinin olmadığı). "Dağlar çatışmaya neden oluyor" tezi de başarısız oldu - ama verimli bir araştırma: önceki araştırmalar bu tezi ülke düzeyinde verilerle analiz etti (örneğin, ülkenin ortalama yüksekliği gibi),

Akılda tutunuz: Bir hipotezi onaylamamak bir başarısızlık değil, kanıtlanmış bir hipotez kadar iyi bir sonuçtur.

Burada açıklanan çalışmalar arasında olasılıkları birleştirmek için bir yöntem var . Sonuçların modelini düşünmeden formülü kör uygulamamalısınız.