Normal olmayan veriler için eşdeğerlik testleri?

Normal dağılımlardan alınamayacağımı tahmin edemediğim bazı verilerim var ve gruplar arasında denklik testleri yapmak istiyorum. Normal veriler için TOST (iki tek taraflı t testi) gibi teknikler vardır. Normal olmayan veriler için TOST'a benzer bir şey var mı?

hypothesis-testing equivalence tost

— Ryan C.Thompson
kaynak

TOST hakkında bilgi sahibi değilim, ama Mann-Whitney'i mi arıyorsunuz? Bu, iki grubun farklı dağılımlardan geldiğine dair kanıt sağlayabilecek parametrik olmayan bir testtir (dağılımlar üzerinde hiçbir varsayım yapılmadığı anlamına gelir).

— Nick Sabbe

Sıfır hipotezinin bir fark olduğu ve alternatif hipotezin (neredeyse) hiçbir fark olmadığı bir test arıyorum.

— Ryan

Küçük örnekler için, stats.stackexchange.com/questions/49782/… adresindeki yanıtlara göz atabilirsiniz . Daha büyük numuneler için, t testleri ile klasik yaklaşım Merkezi Limit Teoremi sayesinde iyidir.

— Michael M

"İki tek taraflı test" ifadesindeki hiçbir şey - ne de temel mantık normal teori anlamına gelmez. Normal olmayan bir dağıtımla konum kaydırma alternatifine adapte etmek mümkün olmalıdır. Ancak dikkat edin - normal olmayan verilerle birçok durumda gerçekten istediğiniz şey, ölçek kaydırma türünde bir denklik testidir ve diğer tür verilerle, bunun yerine başka bir şeydir. Neyin gerekli olduğunu bilmek gerçekten neyi ölçtüğünüze ve hangi sorunu çözdüğünüze bağlıdır. Peginizi yuvarlak bir deliğe sıkıştırmaya çalışmak yerine, peg'i incelemek işe yarar.

— Glen_b -Manica Monica

Yanıtlar:

Wald tipi t ve z test istatistikleri için kullanılan TOST mantığı (yani sırasıyla ve ) işaret gibi parametrik olmayan testler için z yaklaşımlarına uygulanabilir. , işaret sıralaması ve sıra toplamı testleri. Basitlik açısından, eşdeğerliğin tek bir terimle simetrik olarak ifade edildiğini varsayıyorum, ancak cevabımı asimetrik eşdeğerlik terimlerine genişletmek basittir. $\theta / s_{\theta}$ $\theta / \sigma_{\theta}$

Bunu yaparken ortaya çıkan bir konu, eğer aynı birimlerde eşdeğerlik terimini (örneğin, ) ifade etmeye , eşdeğerlik teriminin belirli işaretin, işaretli sıradaki birimlerde ifade edilmesi gerektiğidir. ya da hem özet hem de N'ye bağımlı olan sıralama toplamı istatistiği . $\Delta$ $\theta$

Bununla birlikte, TOST denklik terimlerini test istatistiği biriminde de ifade edebiliriz. TOST'da , ve . izin verirsek , ve . (Burada ifade edilen istatistiklerin her ikisi de sağ kuyrukta değerlendirilir : ve .) Z birimlerinin kullanılması $z = \theta/\sigma_{\theta}$ $z_{1} = (\Delta - \theta)/\sigma_{\theta}$ $z_{2} = (\theta + \Delta)/\sigma_{\theta}$ $\varepsilon = \Delta / \sigma_{\theta}$ $z_{1} = \varepsilon - z$ $z_{2} = z + \varepsilon$ $p_{1} = \text{P}(Z > z_{1})$ $p_{2} = \text{P}(Z > z_{2})$ eşdeğerlik / alaka düzeyi eşiğini tanımlamak için dağılım parametrik olmayan testler için tercih edilebilir, çünkü alternatif, araştırmacılar için önemli ölçüde anlamsız ve yorumlanması zor olan işaretli dereceler veya sıra toplamlarının birimlerindeki eşiği tanımlar.

Eğer (simetrik denklik aralıkları için) olduğunda TOST sıfır hipotezini reddetmenin mümkün olmadığını kabul edersek , denklik teriminin uygun büyüklüğüne göre karar vermeye devam edebiliriz. Örneğin . $\varepsilon \le z_{1-\alpha}$ $\varepsilon = z_{1-\alpha} + 0.5$

Bu yaklaşım paket vb süreklilik düzeltmesi için seçenekleri ile uygulamaya konmuştur tost Eğer Stata içinde yazarak erişebilirsiniz, (şimdi Shapiro-Wilk ve Shapiro-Francia testler için spesifik TOST uygulamalarını içerir) Stata için:

Edit: Neden TOST mantığı sağlam ve eşdeğerlik testi oluşumları omnibus testleri uygulandı , benim çözüm Shapiro-Wilk ve Shapiro-Francia testleri için yaklaşık istatistik derin bir yanlış anlama dayanıyordu ikna olmuştur

— Alexis
kaynak

Kendi başına bir TOST değil, ancak Komolgorov-Smirnov testi , bir örnek dağılımı ile belirtebileceğiniz ikinci bir referans dağılımı arasındaki farkın önemini test etmeyi sağlar. Bu testi, belirli bir tür farklı dağılımı göz ardı etmek için kullanabilirsiniz, ancak genel olarak farklı dağılımları değil (en azından, tüm olası alternatiflerin testleri arasında hata enflasyonunu kontrol etmeden değil ... eğer bir şekilde mümkünse). Herhangi bir test için alternatif hipotez her zamanki gibi daha az spesifik "tümünü yakala" hipotezi olarak kalacaktır.

Boş hipotezin iki grubun eşit olarak dağıtıldığı iki grup arasındaki dağılım farklılıklarının testine razı olursanız, bir grubun dağılımını diğer gruplarla karşılaştırmak için Komolgorov-Smirnov testini kullanabilirsiniz. Muhtemelen geleneksel yaklaşım budur: eğer istatistiksel olarak anlamlı değillerse farkları görmezden gelin ve bu kararı bir test istatistiği ile doğrulayın.

Her halükarda, sıfır hipotezini reddetmeye yönelik "ya hep ya hiç" yaklaşımından kaynaklanan bazı daha derin konuları düşünmek isteyebilirsiniz. Cross Valted'da bu tür çok popüler bir konu var: " Normallik testi 'temelde işe yaramaz mı ?" Niyetin, genel olarak, nihayetinde doğru yönde ilerleyebilecek test nedenini geçersiz kılmak olduğunu düşünüyorum. Burada bağlantı kurduğum soruya verilecek faydalı cevapların özü şöyledir:

Parametrik test varsayımlarının ihlali konusunda endişeleriniz varsa, bunun yerine dağıtımsal varsayımlar yapmayan parametrik olmayan bir test bulmalısınız. Parametrik olmayan testi kullanmanız gerekip gerekmediğini test etmeyin; sadece kullan!
"Dağıtımım önemli ölçüde normal değil mi?" "Dağıtımım ne kadar normal değil ve bu benim ilgi analizlerimi nasıl etkileyecek?" Örneğin, merkezi eğilimle ilgili testler (özellikle araçlar dahil), çarpıklığa basıklıktan daha duyarlı ve (ko) varyansla ilgili testler için tersi olabilir. Bununla birlikte, çoğu analitik amaç için, her iki türden normale karşı çok hassas olmayan güçlü alternatifler vardır.

Hâlâ bir denklik testi yapmak istiyorsanız, burada Çapraz Geçerlilik konusunda denklik testi içeren bir başka popüler tartışma var .

— Nick Stauner
kaynak

Eşdeğerlik testi iyi kurulmuştur ve genellikle H biçiminde olan sıfır hipotezlerini yanlış anlarsınız.

_{0}^{-} : | θ - θ_{0} | \geq Δ

$^{-}_{0}: |\theta-\theta_{0}| \ge \Delta$ . Bu, örneğin, iki tek taraflı teste (TOST) dönüşebilen bir aralık hipotezidir : H

_{01}^{-} : θ - θ_{0} \geq Δ

$^{-}_{01}: \theta-\theta_{0} \ge \Delta$ veya H

_{01}^{-} : θ - θ_{0} \leq - Δ

$^{-}_{01}: \theta-\theta_{0} \le -\Delta$ . Biri H'yi reddederse

_{01}^{-}

$^{-}_{01}$ & H

_{02}^{-}

$^{-}_{02}$ , o zaman bunu sonuçlandırmalısınız

- Δ < θ - θ_{0} < Δ

$-\Delta < \theta - \theta_{0} < \Delta$ , yani gruplarınızın aralık içinde eşdeğer olması

[- Δ, Δ]

$[-\Delta,\Delta]$ .

— Alexis

Yeterince adil; Muhtemelen biraz yanıltıcıydı. İtiraz ettiğiniz parçaları kaldırdım. Ancak, yorumunuzu biraz fazla ifade etmişsinizdir. Zorlanmış ikilem fail to/ rejectyaklaşımın iyi kurulmuş olmasına rağmen , çoğu örnek null değerinin doğru olma olasılığını tamamen engelleyemez. Genellikle tam anlamıyla gerekli olmayan bir reddetme konusunda ısrar ederse, neredeyse her zaman yanlış reddetme hatası şansı vardır. Muhtemelen başlangıçta belirtmeyi düşündüğüm en önemli nokta buydu. Umarım silinmiş şeyler olmadan biraz daha

— açıktır

Bence, denklik testlerinin gücü (ör.

_{0}^{-}

$^{-}_{0}$ ) bunları tanıdık fark testleri ile birleştirmekten gelir (ör.

_{0}^{+}

$^{+}_{0}$ ). Şuna göz atın: (1) H'yi reddet

_{0}^{+}

$^{+}_{0}$ & H Reddetme

_{0}^{-}

$^{-}_{0}$ , ilgili farkı sonuçlandırın ; (2) H'yi Reddetme

_{0}^{+}

$^{+}_{0}$ & H'yi reddet

_{0}^{-}

$^{-}_{0}$ , sonuç denkliği (için

Δ

$\Delta$ ); (3) H'yi reddet

_{0}^{+}

$^{+}_{0}$ & H'yi reddet

_{0}^{-}

$^{-}_{0}$ , önemsiz farkı sonuçlandırın (yani oradadır, ama umursamazsınız); ve (4) H'yi Reddetme

_{0}^{+}

$^{+}_{0}$ & H Reddetme

_{0}^{-}

$^{-}_{0}$ , belirsizliği _ / _ düşük güçlü testler sonuçlandırın . Koyar gücü analizi içine faydalı bir.

— Alexis

Tabii ki, hassasiyet ve özgüllük, PPV ve NPV sorunları ortadan kalkmaz.

— Alexis

-1

Eşdeğerlik asla test edebileceğimiz bir şey değildir . Hipotezi düşünün: $\mathcal{H}_0: f_x \ne f_y$ vs $\mathcal{H}_1: f_x = f_y$ . NHST teorisi boş altında, biz seçebilir, söyler şey altında $\mathcal{H}_0$ veriye en uygun olanı. Bu, neredeyse her zaman dağıtımlara keyfi olarak yaklaşabileceğimiz anlamına gelir. Örneğin, eğer test etmek istersem $f_x \sim \mathcal{N}(0, 1)$ , ayrı dağılımlarına izin veren olasılık modeli $\hat{f}_x$ ve $\hat{f}_y$ sıfırın altında her zaman daha olası olacaktır , bu da kritik test varsayımlarının ihlalidir. Örnek olsa bile $X=Y$ aynı şekilde, keyfi olarak 1'e yakın bir olasılık oranı alabilirim $f_y \approx f_x$ .

Veriler için uygun bir olasılık modeli biliyorsanız, alternatif modelleri sıralamak için cezalandırılmış bir bilgi kriteri kullanabilirsiniz. Bunun bir yolu, iki olasılık modelinin BIC'lerini kullanmaktır. $\mathcal{H}_0$ ve $\mathcal{H}_1$ . Normal bir olasılık modeli kullandım, ancak elle veya GLM'yi kullanarak herhangi bir maksimum olabilirlik prosedüründen kolayca bir BIC alabilirsiniz. Bu Stackoverflow direği , montaj dağıtımları için nitrit şekline sahiptir. Bunu yapmanın bir örneği burada:

set.seed(123)
p <- replicate(1000, { ## generate data under the null
  x <- rnorm(100)
  g <- sample(0:1, 100, replace=T)
  BIC(lm(x~1)) > BIC(lm(x~g))
})
mean(p)

verir

> mean(p)
[1] 0.034

$p$ burada null modelin BIC'sinin (ayrı modeller) alternatif modelden (eşdeğer model) daha iyi (daha düşük) oranıdır. Bu, istatistiksel testlerin nominal 0.05 seviyesine oldukça yakındır.

Öte yandan eğer alırsak:

set.seed(123)
p <- replicate(1000, { ## generate data under the null
  x <- rnorm(100)
  g <- sample(0:1, 100, replace=T)
  x <- x + 0.4*g
  BIC(lm(x~1)) > BIC(lm(x~g))
})
mean(p)

verir:

> mean(p)
[1] 0.437

NHST'de olduğu gibi, kesin sonuçlara varmadan önce simülasyonla araştırılması gereken ince güç sorunları ve yanlış pozitif hata oranları vardır.

Bence benzer (belki daha genel bir yöntem) her iki olasılık modeli altında tahmin edilen posterior karşılaştırmak için Bayes istatistikleri kullanıyor.

— Adamo
kaynak

AdamO, "test eşitliği" ni "test denkliği" ile sınırlandırıyor gibi görünüyorsunuz. İkincisinin yöntemleri ve uygulamasında onlarca yıllık ve sağlam bir literatür vardır.

— Alexis

Bakınız, örneğin, Wellek, S. (2010). Eşdeğerlik ve Yetersizlik İstatistiksel Hipotezlerinin Test Edilmesi . Chapman ve Hall / CRC Press, ikinci baskı.

— Alexis

@Alexis hmm, maalesef bir kütüphaneye erişimimiz yok. Bir marj dahilindeki tahminler eşdeğer kabul edildiğinde, denkliğin aşağılık olmamasıyla aynı olduğunu mu söylüyorsunuz?

— AdamO

Pek değil: aşağılık olmaması, yeni bir tedavinin bazı standart eksi a priori olarak belirtilen en küçük ilgili farktan daha kötü performans gösterip göstermediğinin tek taraflı bir testidir . Eşdeğerlik testleri, iki (veya daha fazla) miktarın, her iki yönde - bir a priori tarafından belirtilen en küçük ilgili farktan daha fazla farklı olduğu sıfır hipotezinin testleridir . Bazı seminal makaleler:

— Alexis

Schuirmann, DA (1987). İki tek taraflı test prosedürünün ve ortalama biyoyararlanımın eşdeğerliğini değerlendirmek için güç yaklaşımının karşılaştırılması . Farmakokinetik ve Biyofarmasötik Dergisi , 15 (6): 657-680.

— Alexis