ANOVA'nın testinden alınan değerleri , aynı verilerdeki birden fazla testinden alınan değerlere kıyasla ne kadar küçük olabilir ?

Giriş: Bugün bu sorunun dikkatini çeken “ ANOVA, ikili t-testlerinin hiçbiri olmadığında önemli olabilir mi? ”, Diye düşündüm. .

İstatistiksel anlamlılık basit bir ikilik olarak anlaşıldığında ve sadece veya bazında değerlendirildiğinde çeşitli uyumsuz sonuçlar ortaya çıkabilir (yüz değerinde) . @ Glen_b'in yukarıdaki soruya vereceği cevap, aşağıdaki durumlarda yararlı bir örnek sunmaktadır: $p$ $\alpha$

Bir ANOVA testi, dört seviyeli bir bağımsız değişken (IV) için üretir , ancak $F$ $p_F<.05$
$p_t>.08$ IV'ün dört seviyesinin her bir çiftine karşılık gelen gözlemler arasında aynı bağımlı değişkente (DV) farklılıkları karşılaştıran tüm iki örnekli testleri için . $t$

Benzer bir vaka, bu soru yoluyla hoc sonrası ikili karşılaştırmalar için Bonferroni düzeltmelerine rağmen ortaya çıktı: Anova tekrarlanan ölçümler önemlidir, ancak Bonferroni düzeltmesi ile yapılan tüm çoklu karşılaştırmalar önemli değil mi? Daha önce bahsedilen çoklu regresyonda biraz farklı bir teste sahip vakalar da vardır:

Önemli F istatistiğini (p <.001) almak, ancak anlamlı olmayan regresör t-testlerini almak neden mümkün? : $p_F<.001,p_{\beta t}>.09$
Bir regresyon nasıl önemli olabilir, ancak tüm öngörücüler anlamlı olmayabilir?
- @ Whuber'ın cevabında , $p_F=.0003,p_{\beta t}>.09$

Bu gibi durumlarda, karşılık gelen bir omnibus testi bir elde edebiliyorsa , bazı (ama hepsi değil) çift karşılaştırmalar '(veya regresyon katsayıları' önem testleri ') değerlerinin yakın olması gerektiğine bahse girerim . @ Glen_b'in ilk örneğinde durum böyle görüyorum, burada , ve en büyük çift farkı en küçük . Genel olarak böyle mi olmalı? Daha spesifik olarak : $p$ $\alpha$ $p <\alpha$ $F_{(3,20)}=3.19$ $p_F=.046$ $p_t=.054$

Soru: Bir ANOVA testi, bir IV'ün sürekli bir DV üzerindeki etkisi için bir üretirse , en düşük değeri , IV düzeylerinin her bir çiftini karşılaştıran iki örnekli testi arasında ne kadar yüksek olabilir ? Minimum ikili önem kadar yüksek olabilir mi? $F$ $p_F=.05$ $p$ $t$ $p_t=.50$

_{Sadece bu soruya cevap veren cevapları memnuniyetle karşılıyoruz . Bununla birlikte, bu soruyu daha fazla motive etmek için, potansiyel retorik bazı soruları ayrıntılı olarak açıklayacağım. Bu endişeleri de ele almaktan hoşlanıyorsanız ve hatta özellikle belirli bir soru kesin bir cevap alırsa, belirli bir soruyu görmezden gelmekten çekinmeyin.}

Önem: İstatistiksel önem, sıfır hipotezine karşı kanıtın gücü açısından sürekli olarak değerlendirilirse, ve arasındaki farkın ne kadar az önemli olacağını düşünün (Ron Fisher yaklaşımı, sanırım?), null toptan satışın reddedilip reddedilmeyeceğini seçme konusunda kabul edilebilir hata olasılığı için bir eşiğinin üstünde veya altında olduğu gibi ikiye ayrılır . " hackleme ", kötü şöhretini kısmen yorumlanmasıyla ortaya çıkan gereksiz bir güvenlik açığına borçlu olduğu bilinen bir sorundur. $p_F=.04$ $p_t=.06$ $\alpha=.05$ $p$ $p$ "yeterince iyi" ve "yeterince iyi değil" eşdeğerlerine karşı ikiye ayrılma yaygın uygulamasına göre değerler. Eğer kişi bu uygulamayı elden çıkaracak ve bunun yerine değerlerini sürekli bir aralıkta null'a karşı kanıt gücü olarak yorumlamaya odaklanacaksa , çok çiftli karşılaştırmaları gerçekten önemsediğinde omnibus testi biraz daha az önemli olabilir mi? Değil gereksiz zorunlu İstatistiksel doğruluğu herhangi bir makul etkin bir düzelme, örneğin, düşük çiftler halinde bir karşılaştırması en eğer ... Tabii ki tercih edilir, ancak değeri olan zorunlu olan ANOVA (veya başka bir çok maddeli testi) $p$ $p$ $.10$ $p$ değer, bu omnibus testini, özellikle birden fazla testte kontrol etmek istemiyorsa, daha önemsiz, daha az zorunlu ve daha da yanıltıcı (önceden var olan yanlış anlamalar ile birlikte) yapmaz mı? $\alpha$

Tersine, eğer bir omnibus , ancak tüm çift veriler mevcutsa , bu uygulama ve pedagoji boyunca omnibus ve kontrast testini daha da motive etmemelidir ? Bana öyle geliyor ki, bu konu, bir ikilik ve sürekliliğe göre istatistiksel önemi değerlendirmenin göreceli değerlerini, farklılıklar "marjinal olarak önemli" olduğunda küçük ayarlara karşı daha duyarlı olması gerektiğinden, her iki sistemde de bu fark / ayarlama çok büyükse (örn., bir omnibus testi yapılmaması veya çoklu karşılaştırmalar için ayarlama yapılmaması durumunda güvenlidir . $p=.05$ $p>.50$ $p_t-p_F>.40)$

_{Göz önünde bulundurulması veya görmezden gelmesi gereken diğer isteğe bağlı karmaşıklıklar — yanıtlamayı daha kolay ve daha değerli kılan :}

^{Ne kadar ler için ler olabilir, eğer için , yerine (örneğin, ) $p$ $t$ $F$ $p<.05$ $p=.01, .001,\dots$}
^{Polytomous IV'teki seviye sayısına duyarlılık IV}
^{Çiftli farklılıkların önemindeki eşitsizliklere duyarlılık (tüm iken ) $p_t>p_F$}
- ^{whuber'ın cevabı , küçük farklılıklar dahil etmenin büyük farklılıkları maskeleyebileceğini gösterir.}
^{Birden fazla karşılaştırma için çeşitli omnibus testlerinin düzeltmeleri arasındaki farklar}
- ^{Ayrıca bakınız: Bir öznede / tekrarlanan ölçümlerde çoklu karşılaştırmalar için düzeltme ANOVA; aşırı muhafazakar mı?}
- ^{Birden fazla IV ile, çoklu doğrusallık bu sorunu daha da kötüleştirebilir .}
^{Verilerin klasik parametrik testlerin tüm varsayımlarını en iyi şekilde karşıladığı kısıtlı durumlar}
- ^{Bu kısıtlama, bu sorunun biraz tartışılmasını önlemek için önemli olabilir.}

— Nick Stauner
kaynak

İkili t-testlerinin omnibus F-testi ile aynı hata varyans tahminini kullanması gerekip gerekmediğini açıklığa kavuşturmak isteyebilirsiniz (Glen örneğinde kullanmayanlar).

— Scortchi - Monica'yı eski durumuna döndürün

kullanan ortalamalar arasındaki fark için sıradan bir t testi demek , ancak ANOVAR ortalama kare hatasının kare kökü olarak hesaplanır. Her zamanki post-hoc ikili t-testidir ve Tukey'in HSD'sinden farklı olarak çoklu karşılaştırmalar için ayarlama yapmaz . Tüm gruplardan gelen bilgileri içerir, ancak grup araçlarındaki farklılıklardan bağımsızdır.

t = ({\bar{y}}_{1} - {\bar{y}}_{2}) / (\hat{σ} \sqrt{\frac{1}{n_{1}} + \frac{1}{n_{2}}})

$t=(\bar{y}_1-\bar{y}_2)/\left({\hat\sigma\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}\right)$

\hat{σ}

$\hat\sigma$

— Scortchi - Monica'yı eski durumuna döndürün

Anlıyorum! Öncelikle @ Glen_b'in örneğini takip etmek ve kullanmakla değil, tüm gruplardan bilgi eklemekten kaçınmak için bahsettiğiniz ilk formülü kullanmakla ilgilenirim. Bu, burada güçlü bir tercihimin olduğu anlamına gelmez ... ama asıl amacımın bir kısmı, bu sorulardaki ortak temanın bir varyantını sunmaktı: "Herhangi bir belirli bilgi için söz konusu iki grubun ötesinde bilgileri görmezden gelmenin gerçek zararı nedir? birçoğu arasında iki örnek testi? " Sanırım bu kararda da bu tema aktarılmaya değer.

\sqrt{MSE}

$\sqrt{\text{MSE}}$

— Nick Stauner

@Scortchi Diğer soruya ilk yorumunuzu kapsayan bir örnek ekledim (yani, testlerin ortak hata varyansı ve df kullanılarak yapıldığı yer), ancak tüm testler (F ve çoklu karşılaştırmalar) oldukça düşük bir önem düzeyinde yapılır. (0.0025, 0.05 değil). Burada Nick S. tarafından sorulan tek tek sıradan iki örnekli t-testleri ile karşılaştırıldığında, anlam bakımından önemli ölçüde önemli bir farkın mümkün olduğunu gösterir (bu durumda, tüm sıradan t testleri için , ancak ). Birçok gruba inanıyorum, daha da ileri gitmek mümkün.

p_{t} > .05

$p_t>.05$

p_{F} < 0.002

$p_F<0.002$

— Glen_b

Birkaç dakika önce stat.stackexchange.com/questions/83030/… adresindeki bir yorumda bu sorunun ilk bölümüne bir cevap verdim .

— whuber

Eşit varsayarak kullanıcının [ancak aşağıda not 2'ye bakınız] tek yönlü bir düzende, her işlem için ve tüm gruplardan havuzlanmış SD kullanılmasını (alışılmış post hoc mukayeseleri yapıldığı gibi), maksimum muhtemel testlerin testi için değeri (burada belirtir ). Bu nedenle, hiçbir kadar yüksek olamaz . İlginçtir (ve oldukça tuhaf bir şekilde), sınırı sadece için değil , için gereken herhangi bir anlam seviyesi için de geçerlidir . $n$ $t$ $p$ $t$ $2\Phi(-\sqrt{2}) \approx .1573$ $\Phi$ $N(0,1)$ $p_t$ $0.5$ $.1573$ $p_F=.05$ $F$

Gerekçe şu şekildedir: Belirli bir örnek araç aralığı için , nin yarısı bir uçta ve diğer yarısı olduğunda mümkün olan en büyük istatistiğine ulaşılır . Bu , iki aracın en fazla farklı olduğu göz önüne alındığında en anlamlı göründüğü durumu temsil eder . $\max_{i,j}|\bar y_i - \bar y_j| = 2a$ $F$ $\bar y_i$ $F$ $2a$

Yani, genelliği kaybetmeden varsayalım , böylece bu sınır durumda. Ve yine, genellik kaybı olmadan, olduğunu varsayalım , çünkü verileri her zaman bu değere yeniden ölçeklendirebiliriz. Şimdi anlamına gelir ( basitlik için bile olsa [ama aşağıdaki not 1'e bakınız]), . Ayar böylece , elde ederiz . Tüm zaman olan (hala ve ), her biri sıfır olmayan bir $\bar y_.=0$ $\bar y_i=\pm a$ $MS_E=1$ $k$ $k$ $F=\frac{\sum n\bar y^2/(k-1)}{MS_E}= \frac{kna^2}{k-1}$ $p_F=\alpha$ $F=F_\alpha=F_{\alpha,k-1,k(n-1)}$ $a =\sqrt{\frac{(k-1)F_\alpha}{kn}}$ $\bar y_i$ $\pm a$ $MS_E=1$ $t$ istatistiği bu nedenle . Bu, olduğunda mümkün olan en küçük maksimum değeridir . $t=\frac{2a}{1\sqrt{2/n}} = \sqrt{\frac{2(k-1)F_\alpha}{k}}$ $t$ $F=F_\alpha$

Böylece farklı ve vakalarını, hesaplamasını ve onunla ilişkili . Ancak verilen için bildirimi o , olduğu azalan [ancak aşağıda not: 3]; ayrıca, , ; böylece . Not bu yer alır, ortalama ve SD . Yani bakılmaksızın $k$ $n$ $t$ $p_t$ $k$ $F_\alpha$ $n$ $n\rightarrow\infty$ $(k-1)F_{\alpha,k-1,k(n-1)} \rightarrow \chi^2_{\alpha,k-1}$ $t \ge t_{min} =\sqrt{2\chi^2_{\alpha,k-1}/k}$ $\chi^2/k=\frac{k-1}k \chi^2/(k-1)$ $\frac{k-1}k$ $\frac{k-1}k\cdot\sqrt{\frac2{k-1}}$ $\lim_{k\rightarrow\infty}t_{min} = \sqrt{2}$ $\alpha$ ve yukarıdaki ilk paragrafta belirttiğim sonuç asimtotik normallikten elde edilir.

Yine de bu sınıra ulaşmak uzun zaman alıyor. kullanarak, Rçeşitli değerleri için sonuçlar (kullanılarak hesaplanır ) : $k$ $\alpha=.05$

k       t_min    max p_t   [ Really I mean min(max|t|) and max(min p_t)) ]
2       1.960     .0500
4       1.977     .0481   <--  note < .05 !
10      1.840     .0658
100     1.570     .1164
1000    1.465     .1428
10000   1.431     .1526

Birkaç gevşek uç ...

K tek olduğunda: hepsi olduğunda maksimum istatistiği hala oluşur ; ancak, aralığın bir ucunda diğerine göre bir tane daha olacak ve ortalama yapıyoruz ve istatistiğindeki faktörünün ile değiştirildiğini gösterebilirsiniz . Bu aynı zamanda paydasının yerini alır , böylece biraz daha büyük olur ve . $F$ $\bar y_i$ $\pm a$ $\pm a/k$ $k$ $F$ $k-\frac 1k$ $t$ $p_t$
Eşit olmayan s: $n$ maksimum hala ile elde edilir işaretleri neredeyse eşit mümkün olduğu kadar numune boyutlarını dengelemek üzere düzenlenmiş olan,. Daha sonra aynı toplam örnek büyüklüğü için istatistiği , dengeli verilerle aynı veya daha küçük olacaktır. Dahası, maksimum istatistiği daha büyük olacaktır çünkü en büyük . Bu yüzden dengesiz vakalara bakarak daha büyük değerleri elde . $F$ $\bar y_i = \pm a$ $F$ $N = \sum n_i$ $t$ $n_i$ $p_t$
Hafif bir düzeltme: en üst düzeye çalıştığımız gerçeğini göz ardı ettiğim minimum bulmaya odaklandım ve daha az sahip daha büyük bir , küçük olandan daha az önemli olmayacak daha fazla df ile. Ancak, df çok az fark yaratacak kadar yüksek olana kadar değerlerini hesaplayarak durumun bu olduğunu doğruladım . Durum için Hiç davaları görmedim değerleri ile artmamıştır . Not bu olası df so büyük hızlı şekilde elde $t$ $p_t$ $t$ $n=2,3,4,\ldots$ $\alpha=.05, k\ge 3$ $p_t$ $n$ $df=k(n-1)$ $k,2k,3k,\ldots$ $k$ büyük. Yani hala yukarıdaki iddia ile güvenli bir zemindeyim. de test ettim ve eşiğinin aşıldığı yerde gözlemlediğim tek durum . $\alpha=.25$ $.1573$ $k=3,n=2$

— Russ Lenth
kaynak