Doğrusal modeller olarak ortak istatistiksel testler

(GÜNCELLEME: Daha derine daldım ve sonuçları buraya gönderdim )

İsimli istatistiksel testlerin listesi çok büyük. Ortak testlerin pek çok basit doğrusal modeller çıkarımlar güvenmek, örneğin, bir tek numune t-testi sadece bir y = β + ε boş modeli karşı test edildiği y = μ + ε , yani bu β = μ μ bazı boş olduğu değer - tipik olarak μ = 0.

Bunu, öğretim amaçları için, modelleri ne zaman kullanacaklarını, ne zaman kullanacaklarını ve birbirleriyle bir ilgisi yokmuş gibi varsayımlarını ezbere kullanmaktan biraz daha öğretici buluyorum. Bu yaklaşım teşvik edici bir anlayışı desteklemez. Ancak, bunu toplayan iyi bir kaynak bulamıyorum. Onlardan çıkarsama yönteminden ziyade, temel modeller arasındaki eşitliklerle daha fazla ilgileniyorum . Görebildiğim kadarıyla, tüm bu lineer modeller üzerinde olabilirlik oranı testleri "klasik" çıkarım ile aynı sonuçları veriyor.

İşte şu ana kadar öğrendiğim hata terimini yok sayarak ve tüm boş hipotezlerin bir etkinin olmadığı varsayılarak: $\varepsilon \sim \mathcal N(0, \sigma^2)$

Tek örneklemeli t testi: . $y = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Eşleştirilmiş örneklem t testi: $y_2-y_1 = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Bu, çift farklılıklardaki tek örnekli t-testi ile aynıdır.

İki örnekli t testi: $y = \beta_1 * x_i + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

buradaki x, bir göstergedir (0 veya 1).

Pearson korelasyonu: $y = \beta_1 * x + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

İkili bir x ekseni üzerinde sadece gerileme olan iki örnekli bir t-testine benzerlik dikkat edin.

Spearman korelasyonu: $rank(y) = \beta_1 * rank(x) + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Bu, rütbeli dönüşümlü x ve y'deki Pearson korelasyonuyla aynıdır.

Tek yönlü ANOVA: $y = \beta_1*x_1 + \beta_2*x_2 + \beta_3*x_3 +... \qquad \mathcal{H}_0: \beta_1, \beta_2, \beta_3, ... = \beta$

burada , ilgili seçen göstergelerdir (bir 1; diğeri 0'dır). Model muhtemelen gibi matris formunda yazılabilir . $x_i$ $\beta$ $x$ $Y = \beta * X$

İki yönlü ANOVA: $y = \beta_1 * X_1 + \beta_2 * X_2 + \beta_3 * X_1 * X_2 \qquad \mathcal{H}_0: \beta_3 = 0$

iki seviye iki faktör için. Burada , gösterge vektörünün betaların vektörleridir . Burada gösterilen etkileşim etkisidir. $\beta_i$ $X_i$ $\mathcal{H}_0$

Bu lineer modeller listesine daha fazla "adlandırılmış test" ekleyebilir miyiz? Örneğin, çok değişkenli regresyon, diğer "parametrik olmayan" testler, binom testler veya RM-ANOVA'lar?

GÜNCELLEME: burada SO'da doğrusal modeller olarak ANOVA ve t testleri hakkında sorular sorulmuş ve cevaplandırılmıştır. Bu soruya bakın ve ilgili soruları etiketleyin .

— Jonas Lindeløv
kaynak

Bu karşılaştırmaların uygun olduğunu düşünüyorum, ancak bir noktada bunun da küçük farklılıklar olduğunu düşünüyorum. Örneğin, tek yönlü ANOVA'yı kullanın: doğrusal bir regresyonun katsayıları size sağlayacağı ve çoğu yazılım paketinde Wald testlerinde (uygun olmayabilir) katsayı başına önemi belirten bir ANOVA, herhangi birinin uygun olup olmadığını belirten tek bir p değeri sağlayacaktır. Katsayılardan biri sıfırdan önemli ölçüde farklıdır. Boş bir model ile ilgilenilen regresyon modeli arasındaki Olabilirlik Oranı Testi daha karşılaştırılabilir olabilir. Bu nedenle, bu testleri / modelleri tamamen eşitlemem.

— IWS

İyi bir nokta; " Onlardan çıkarım yöntemi yerine temel modeller arasındaki denkliklere daha fazla ilgi duyuyorum" diyerek soruyu güncelledim . Tek yönlü ANOVA'larda olabilirlik oranı testleri ve etkileşim terimleri testime kadar "klasik" analizler ile aynı p-değerleri verir.

— Jonas Lindeløv

Yeterince adil, ancak çıkarım bir yana, regresyon modellerinin lineer olmayanı ele alırken de ek esneklik sağladığını unutmayın (dönüşümler ayrıca bu 'adlandırılmış testlerle de test edilebilir, spline'lar farklı bir meseledir) veya aileden bahsetmek bile olmasın Sürekli olmayan bağımlı değişkenleri de işleyen genelleştirilmiş modeller. Bununla birlikte, adlandırılmış testleri açıklamak için öğretim amaçlı regresyon modellerinin kısıtlayıcı varyasyonlarının haklı olabileceğini görebiliyorum, yani +1

— IWS

Spearman sıra korelasyonu gerçekten doğrusal bir model midir?

— Martin Dietz

@ MartinDietz: Evet, x ve y rütbesini dönüştürdükten sonra doğrusaldır. R kodu:x = rnorm(100); y = rnorm(100); summary(lm(rank(x) ~ rank(y))); cor.test(x, y, method='spearman')

— Jonas Lindeløv

Kapsamlı bir liste değil, genelleştirilmiş doğrusal modeller eklerseniz , bu sorunun kapsamı büyük ölçüde artar.

Örneğin:

E [logit (p) | t] = β_{0} + β_{1} t H_{0} : β_{1} = 0

$E[\mbox{logit} (p) | t] = \beta_0 + \beta_1 t \qquad \mathcal{H}_0: \beta_1 = 0$

$p \times k$

E [\log (μ)] = β_{0} + β_{i .} + β_{. j} + γ_{i j} i, j > 1 H_{0} : γ_{i j} = 0, i, j > 1

$E[\log (\mu)] = \beta_0 + \beta_{i.} + \beta_{.j} + \gamma_{ij} \quad i,j > 1 \qquad\mathcal{H}_0: \gamma_{ij} = 0, \quad i,j > 1$

Ayrıca eşit olmayan varyanslar için t testi, Huber White sağlam hata kestirimi kullanılarak iyi bir şekilde tahmin edilir.

— Adamo
kaynak