Belirli değişken türlerine ilişkin veriler, belirli popülasyonlarda ölçüldüğünde normal değildir (örn. Majör Depresif Bozukluğu olan bir popülasyonda depresyon seviyeleri). Pearson'un normallik olduğunu varsayarsak, normallik dışı koşullar altında test istatistiği ne kadar sağlamdır?

Ben korelasyon katsayıları için istiyorum bir dizi değişken var, ama bu değişkenlerin bazıları için Z çarpıklığı p <.001 (ve nispeten küçük bir örnek içindir) önemlidir . Bazı dönüşümleri denedim, ama dağılımlardaki gelişmeler en iyi ihtimalle marjinal.

Parametrik olmayan analizlere bağlı kalmak zorunda mıyım? Ve sadece korelasyonlar için değil, diğer analiz türleri için de mi?

Kısa cevap: Çok sağlam değil. Korelasyon bir ölçüsüdür lineer bağımlılık ve bir değişken zaman olamaz diğer (ve hala verilmiş marjinal dağılıma sahip), sahip olamaz mükemmel (pozitif veya negatif) korelasyon doğrusal fonksiyonu olarak yazılabilir. Aslında, olası korelasyon değerleri ciddi şekilde kısıtlanabilir.

Sorun şu ki, nüfus korelasyonu daima ile 1 arasında olmakla birlikte , elde edilebilecek kesin aralık büyük ölçüde marjinal dağılımlara bağlıdır. Hızlı bir kanıt ve tanıtım:$-1$$1$

Ulaşılabilir korelasyon aralığı

Eğer dağıtım işlevi vardır , H ve marjinal dağılım fonksiyonları F ve G için bazı oldukça güzel alt ve üst sınırları vardır H , H - ( x , y ) ≤ H ( x , y ) ≤ H + ( x , y ) , Fréchet sınırları olarak adlandırılır. Bunlar H - ( x , y $(X,Y)$$H$$F$$G$$H$

$$H_-(x,y) \leq H(x,y) \leq H_+(x,y),$$ (Kanıtlamaya çalışın; çok zor değil.) $$\begin{aligned} H_-(x,y) &= \max(F(x) + G(y)-1, 0)\\ H_+(x,y) &= \min(F(x), G(y)). \end{aligned}$$

$U$$(X,Y)=(F^-(U), G^-(U))$$(F^-(-U), G^-(1-U))$

$$\mathop{\textrm{Cov}}(X,Y)=\iint H(x,y)-F(x)G(y) \mathop{\mathrm d\!}x \mathop{\mathrm d\!}y,$$ $H$$H_+$$H_-$$Y$$X$

Örnekler

İşte birkaç örnek (kanıt olmadan):

1. $X$$Y$$(X,Y)$$Y$$X$

   $$Y=\mu_Y+\sigma_Y \frac{X-\mu_X}{\sigma_X}.$$ $-1$$1$$X$$Y$

2. $X$$Y$$Y$$Y=a-bX$$a$$b$$Y$$X$$Y$$[-1/e, 1]\approx [-0.37, 1]$

3. $X$$Y$

   $$\pm \frac{1}{\sqrt{e-1}} \approx 0.76.$$

Tüm sınırların popülasyon korelasyonu için olduğunu unutmayın . Numune korelasyonu, özellikle küçük numuneler için sınırların dışına kolayca uzayabilir (hızlı örnek: 2 numune büyüklüğü).

Korelasyon sınırlarını tahmin etme

Eğer marjinal dağılımlardan simüle edebiliyorsanız, korelasyonun üst ve alt sınırlarını tahmin etmek oldukça kolaydır. Yukarıdaki son örnek için bu R kodunu kullanabiliriz:

> n = 10^5      # Sample size: 100,000 observations
> x = rnorm(n)  # From the standard normal distribution
> y = rlnorm(n) # From the standard lognormal distribution
>
> # Estimated maximum correlation
> cor( sort(x), sort(y) )
0.772
>
> # Estimated minimum correlation
> cor( sort(x), sort(y, decreasing=TRUE) )
−0.769

Yalnızca gerçek verilerimiz varsa ve marjinal dağılımları bilmiyorsak, yukarıdaki yöntemi kullanmaya devam edebiliriz. Gözlem çiftleri bağımlı olduğu sürece değişkenlerin bağımlı olması bir sorun değildir . Ancak birçok gözlem çiftinin olmasına yardımcı olur .

Verileri dönüştürme

$Y$$X$

Burada gerçekten yaptığınız şey , marjinal dağılımlara bağlı olmayan yeni bir bağımlılık ölçütü yaratmak ; yani, kopula tabanlı bir bağımlılık ölçüsü oluşturuyorsunuz. Zaten böyle bir önlem var, Spearman'ın  ρ ve Kendall'ın  τ en tanınmışları. (Bağımlılık kavramlarıyla gerçekten ilgileniyorsanız, copula'lara bakmak kötü bir fikir değildir.)

Sonuç olarak

Bazı son düşünceler ve tavsiyeler: Sadece korelasyona bakmanın büyük bir sorunu vardır: Düşünmeyi bırakmanızı sağlar. Öte yandan, saçılma çizimlerine bakmak genellikle düşünmeye başlar . Benim ana tavsiyem bu nedenle dağılım grafiklerini incelemek ve bağımlılığı açıkça modellemeye çalışmak olacaktır.

Bununla birlikte, basit bir korelasyon benzeri ölçüme ihtiyacınız varsa, sadece Spearman'ın ρ'sını (ve ilişkili güven aralığı ve testleri) kullanacağım  . Menzili sınırlı değildir. Ancak monoton olmayan bağımlılığın çok farkında olun. Korelasyona Wikipedia makalesi olası sorunları gösteren güzel araziler bir çift vardır.

Bu değişkenlerin dağılımları neye benziyor (eğilmenin ötesinde)? Eğer normal olmayan tek şey çarpıklık ise, o zaman bir tür dönüşüm yardımcı olmalıdır. Ancak bu değişkenlerin çok fazla topaklanması varsa, hiçbir dönüşüm onları normalliğe getirmeyecektir. Değişken sürekli değilse, aynı doğrudur.

İhlallerle korelasyon ne kadar sağlamdır? Anscombe Quartet'ine bir göz atın. Birkaç problemi oldukça iyi göstermektedir.

Diğer analiz türlerine gelince, analize bağlıdır. Çarpık değişkenler bir regresyondaki bağımsız değişkenler ise, hiç bir sorun olmayabilir - artıklara bakmanız gerekir.