Post-hoc testlerinden önce global bir teste ihtiyacımız var mı?

Bir ANOVA'dan sonra yapılan hoc sonrası testlerin yalnızca ANOVA'nın kendisi önemliyse kullanılabileceğini sıklıkla duyuyorum.

Bununla birlikte, hoc sonrası testler global tip I hata oranını% 5'de tutmak için -değerlerini ayarlar , değil mi? $p$
Öyleyse neden önce küresel teste ihtiyacımız var?
Global bir teste ihtiyacımız yoksa, "post hoc" terminolojisi doğru mu?
Yoksa bazıları önemli bir küresel test sonucu olduğunu kabul eden ve bazıları bu varsayım olmadan yapılan çeşitli post hoc testler var mı?

anova statistical-significance post-hoc

— Hatta
kaynak

Yanıtlar:

Çoklu karşılaştırma testlerine genellikle 'post testler' dendiği için, tek yönlü ANOVA'yı mantıklı bir şekilde takip ettiklerini düşünebilirsiniz. Aslında, bu öyle değil.

“ Talihsiz bir ortak uygulama, yalnızca homojenliğin gövde hipotezi reddedildiğinde çoklu karşılaştırmalar yapmaktır . ” ( Hsu, sayfa 177 )

ANOVA için toplam P değeri 0.05'ten büyükse, post testlerin sonuçları geçerli olacak mı?

Şaşırtıcı bir şekilde, cevap evet. Bir istisna dışında, genel ANOVA ortalamalar arasında anlamlı bir fark bulamamasına rağmen post testler geçerlidir.

Bunun istisnası, icat edilen ilk çoklu karşılaştırma testi, korumalı Fisher En Az Önemli Fark (LSD) testidir. Korunan LSD testinin ilk adımı, genel ANOVA'nın özdeş araçların sıfır hipotezini reddetmediğini kontrol etmektir. Olmazsa, bireysel karşılaştırmalar yapılmamalıdır. Ancak bu korumalı LSD testi modası geçmiş ve artık önerilmez.

Genel ANOVA anlamlı olmasa bile çoklu karşılaştırma testinden 'anlamlı' bir sonuç almak mümkün müdür?

Evet mümkün. İstisna Scheffe'nin testi. Genel F testi ile iç içe geçmiştir. Eğer genel ANOVA değeri 0.05'ten daha büyük bir P değerine sahipse, Scheffe'nin testi önemli bir post test bulamaz. Bu durumda, genel olarak önemsiz bir ANOVA'yı takiben post testler yapmak zaman kaybıdır, ancak geçersiz sonuçlara yol açmayacaktır. Ancak diğer çoklu karşılaştırma testleri, genel ANOVA grupları arasında anlamlı bir farklılık göstermediğinde bile (bazen) önemli farklılıklar bulabilir.

Bir ANOVA'nın aslında tüm grup araçlarının aynı olduğu ve bir test sonrası fark bulma bulgusu olduğunu söyleyen arasındaki çelişkiyi nasıl anlayabilirim?

Genel tek yönlü ANOVA, tüm tedavi gruplarının aynı ortalama değerlere sahip olduğuna dair sıfır hipotezini test eder, dolayısıyla gözlemlediğiniz herhangi bir fark rastgele örneklemeden kaynaklanır. Her test sonrası, iki özel grubun aynı araçlara sahip olduğuna dair boş hipotezi test eder.

Son testler daha odaklıdır; bu nedenle, genel ANOVA, araçlar arasındaki farkların istatistiksel olarak anlamlı olmadığını bildirmesine rağmen, gruplar arasındaki farklılıkları bulma gücüne sahiptir.

Genel ANOVA sonuçları hiç de faydalı mı?

ANOVA, tüm verilerin aynı yollara sahip olan gruplardan geldiğine dair genel boş hipotezini test eder. Bu sizin deneysel sorunuzsa - veriler araçların tamamen aynı olmadığına dair ikna edici kanıtlar sağlıyor mu - ANOVA tam olarak istediğiniz gibi. Daha sık, deneysel sorularınız daha fazla odaklanır ve çoklu karşılaştırma testleri (sınav sonrası) ile cevaplandırılır. Bu durumlarda, genel ANOVA sonuçlarını güvenle yok sayabilir ve test sonrası sonuçlara doğrudan atlayabilirsiniz.

Çoklu karşılaştırma hesaplamalarının hepsinin ANOVA tablosundaki ortalama kare sonucunu kullandığına dikkat edin. Bu nedenle, F veya P değerinin değerini umursamıyor olsanız bile, post testler hala ANOVA tablosunun hesaplanmasını gerektirir.

— Harvey Motulsky
kaynak

Bu harika bir cevap Harvey - yazdığın için teşekkürler!

— pmgjones,

(+1) Son iki paragraf, cevabın tamamını anlamak ve değerlendirmek için iyi bir bağlam sağlar.

— whuber

Mükemmel cevap ve ben Maxwell ve Delaney'den (2004) bazı alıntılar ekleyeceğim: "... bu yöntemler [örneğin, Bonferroni, Tukey, Dunnet, vb.] Omnibus testinin yerine geçmeli çünkü onlar alfa testini yapıyorlar İstenilen seviye kendi başına. Bu analizlerden herhangi birini gerçekleştirmeye devam etmeden önce önemli bir omnibus testi yapılması, bazen yapıldığı gibi, sadece istenen seviyenin altındaki alfaH değerinin düşürülmesine hizmet eder (Bernhardson, 1975) ve dolayısıyla uygun olmayan bir şekilde gücü azaltır ”(s. 236) .

— dfife

"Gruplar arasındaki farkları bulma gücüm var ..."

— SmallChess

Süre değil sorusuna Söz gerektiğini düşünüyorum - bu açık olmayabilir çünkü - Ters durum (bir çok maddeli testi reddeder ama hiçbir ikili karşılaştırmalar yapmak) bazı durumlarda da mümkün olduğunu

— Glen_b

(1) Post-hoc testleri, (a) analistin test sayısını ayarlayıp ayarlamayacağına ve (b) post-hoc testlerinin bir dereceye kadar ne kadar bağımsız olduğuna bağlı olarak, nominal global Tip I hata oranını başarabilir veya alamayabilir . bir diğeri. İlk önce küresel bir test uygulamak, geçici olmayan veri sorgulamasından kaynaklanan sahte "önemli" sonuçların ortaya çıkma riskine (hatta istemeden de olsa) karşı oldukça sağlam bir korumadır .

(2) Bir güç sorunu var. Global bir ANOVA F testinin, herhangi bir araç çiftinin t testinin anlamlı bir sonuç vermeyeceği durumlarda bile, bir araç farkını tespit edebileceği iyi bilinmektedir. Başka bir deyişle, bazı durumlarda veriler, gerçek araçların muhtemel olarak farklı olduğunu ancak hangi araç çiftlerinin farklılık gösterdiğini yeterince güvenerek tanımlayamadığını gösterebilir.

— whuber
kaynak

Re (2): İki yönlü t-testlerinin hiçbiri yapılmadığında, tek yönlü bir ANOVA'nın anlamlı bir fark bildirebileceğini söylediğinizde, basit olmayan düzeltilmiş (“post post” değil, örneğin Tukey prosedürü veya herhangi bir şey) başvuruyor musunuz? t-testi? Bunun asla mümkün olmayacağını düşündüm, yanılmış mıydım?

— amip diyor Reinstate Monica

@ amoeba Bu doğru; Ayarlanmamış ikili testlerden bahsediyorum. Bu konuyu açıklığa kavuşturduğunuz için teşekkür ederiz.

— whuber

Teşekkürler, @whuber. Burada CrossValidated ile ilgili bir tartışma bulmaya çalıştım, ama boşuna. Böylece böyle bir durumun nasıl mümkün olabileceği hakkında kendi sorumu yayınladım: stats.stackexchange.com/questions/83030/… . Orada detaylandırırsanız gerçekten çok minnettar olurum!

— amip diyor Reinstate Monica

@ amoba ve @whuber: Muhtemelen bunu biliyorsunuz, ama yine de netleştirmek istiyorum. ANOVA testinin, Tukey'nin HSD testlerinden hiçbiri olmasa bile, anlamlı olabileceğini unutmayın. Üç gruba sahip dengeli bir veri içeren basit R örneği:

set.seed(249);  group = rep(1:3, each=2); y = group + rnorm(6); mod = aov(y~factor(group)); summary(mod); TukeyHSD(mod); plot(y~group)

— Karl Ove Hufthammer

En azından aralarında en büyük fark olan iki araç arasında bir fark olduğunu tahmin edemezsiniz, çünkü ANOVA'nın sıfır hipotezi, en az bir araç çiftinin birbirinden farklı olduğu anlamına gelir mi?

— Speldosa,