Küçültülmüş

Kafamda, Pearson korelasyon katsayısının popülasyon değerinin iki tür tahmincisi hakkında bir kafa karışıklığı oldu.

A. Fisher, (1915) iki değişkenli normal popülasyon ampirik için gösterdi a, negatif eğimli tahmincisi eğilim, sadece küçük bir numune boyutu (pratikte önemli miktarda olmasına rağmen, ). Numune hafife o daha yakın olduğu anlamında den . (İkinci olduğunda hariç ya da daha sonra da, önyargısızdır.) Çeşitli yaklaşık tarafsız tahmin arasında önerilmiştir, iyi bir olasılıkla olmak $r$ $\rho$ $n<30$ $r$ $\rho$ $0$ $\rho$ $0$ $\pm 1$ $r$ $\rho$ Olkin ve Pratt (1958) düzeltildi : $r$

r_{unbiased} = r [1 + \frac{1 - r^{2}}{2 (n - 3)}]

$r_\text{unbiased} = r \left [1+\frac{1-r^2}{2(n-3)} \right ]$

B. Bu regresyon gözlenen söylenir abartılı ilgili nüfus R-kare. Ya da, basit regresyon ile tam o abartılı . Gerçeğine dayanarak, söyleyerek birçok metinleri gördüm olan olumlu göreli önyargılı için mutlak değerini, yani: uzak dan den (? Bu doğru ifadedir). Metinler, standart sapma parametresinin örnek değeri ile aşırı tahmin edilmesiyle aynı problem olduğunu söylüyor. Gözlenen "ayarlamak" için birçok formüller vardır mevcut $R^2$ $r^2$ $\rho^2$ $r$ $\rho$ $r$ $0$ $\rho$ $R^2$ yakın nüfus parametresine, kayık en (1931) en iyi bilinen (ama en iyi) olmak. Bu düzeltilmiş kök adlandırılır büzülmüş : $R_\text{adj}^2$ $r_\text{adj}^2$ $r$

r_{shrunk} = \pm \sqrt{1 - (1 - r^{2}) \frac{n - 1}{n - 2}}

$r_\text{shrunk} = \pm\sqrt{1-(1-r^2)\frac{n-1}{n-2}}$

İki farklı tahmin edicileri mevcut . Çok farklı: birincisi , ikincisi . Onları nasıl uzlaştırmak? Biri nerede kullanmalı / bildirmeli, diğeri mi? $\rho$ $r$ $r$

Özellikle, bu doğru olabilir ki "tarafsız" gibi, ama sadece, çok "çekmiş" tahmincisi olan (neredeyse) tarafsız farklı bağlam - regresyon asimetrik bağlamında. Zira, OLS regresyonunda, bir tarafın (öngörücü) değerlerini, numuneden numuneye rasgele bir hata olmadan katılarak, sabit olarak değerlendiriyoruz. (Ve buraya eklemek için, regresyon iki değişkenli normallik gerektirmez.)

— ttnphns
kaynak

Acaba bu sadece Jensen'ın eşitsizliğine dayalı bir şeyden kaynaklanıyor mu? Bu ve iki değişkenli normallik çoğu durumda muhtemelen kötü bir varsayımdır.

— shadowtalker

Ayrıca, meselenin benim anlayış B. regresyon olmasıdır

regresyon uyum yordayıcılarını ekleyerek keyfi geliştirilebilir çünkü bir abartma olduğunu. Bana A'daki gibi aynı gelmiyor gibi

r^{2}

$r^2$

— shadowtalker

O aslında doğru mudur

bir pozitif yanlı tahmindir

tüm değerleri için

? İki değişkenli normal dağılım için bu yeterince büyük

için geçerli görünmüyor .

r^{2}

$r^2$

ρ^{2}

$\rho^2$

ρ

$\rho$

ρ

$\rho$

— NRH

Önyargı, tahmin edicinin karesi için ters yöne gidebilir mi? Örneğin, basit bir tahmini, bu gösterilebilir ki

bazı aralıklar için

ise bunun zor olacağını düşünüyorum , ama belki daha basit bir örnek işe yarayabilirdi.

E [\hat{θ} - θ] < 0 < E [{\hat{θ}}^{2} - θ^{2}]

$E[\hat{\theta}-\theta] < 0 < E[\hat{\theta}^2-\theta^2]$

θ

$\theta$

θ = ρ

$\theta = \rho$

— Anthony,

Yanıtlar:

Korelasyondaki önyargıya ilişkin olarak: Örnek büyüklükleri önyargı için herhangi bir pratik öneme sahip olacak kadar küçük (örneğin, önerdiğiniz n <30), o zaman önyargı endişelerinizin en küçüğüdür, çünkü yanlışlık korkunçtur.

Bir önyargı ilgili R ² çoklu regresyonda, eşit büyüklükte bağımsız örneklemde tarafsız tahmini vs tarafsız nüfus tahminine ilgilendirmeyen birçok farklı ayarlamalar vardır. Bakınız Yin, P. & Fan, X. (2001). Tahmin R ² çoklu regresyon büzülme: Analitik yöntemlerin bir karşılaştırması. Deneysel Eğitim Dergisi, 69, 203-224.

Günümüz regresyon yöntemleri de ayrıca regresyon katsayısı çekme adres R ² , örneğin, elastik ağ - bir sonucu olarak k kat çapraz doğrulama, bkz http://web.stanford.edu/~hastie/Papers/ elastiknet.pdf .

— Fred Oswald
kaynak

Bunun gerçekten soruyu cevaplayıp cevaplamadığını bilmiyorum

— shadowtalker

Bence cevap basit regresyon ve çoklu regresyon bağlamında. Bir IV ve bir DV ile basit regresyonda, R sq pozitif önyargılı değildir ve gerçekte r negatif bir şekilde önyargılı ise olumsuz önyargılı olabilir. Ancak, kendileri ile ilişkilendirilebilecek birkaç IV'le yapılan çoklu regresyonda, R sq, meydana gelebilecek herhangi bir "baskılama" nedeniyle pozitif olarak önyargılı olabilir. Bu nedenle benim görüşüme göre, gözlemlenen R2 karşılık gelen popülasyon R-karesini fazla tahmin ediyor, ancak sadece çoklu regresyonda

— dingus
kaynak

R sq is not positively biased, and in-fact may be negatively biasedİlginç. Gösterebilir misin veya referans verebilir misin? - İki değişkenli normal popülasyonda, gözlemlenen örnek RSq istatistiği negatif önyargılı tahmin edici olabilir mi?

— ttnphns 25:16

Bence yanılıyorsun. Talebinizi yedeklemek için bir referans verebilir misiniz?

— Richard Hardy,

Üzgünüz, ama bu daha çok bir düşünce alıştırmasıydı, bu yüzden referansım yok.

— Dingus

Fischer, iki değişkenli normal bir durumda, r'nin negatif önyargılı bir tahminci olduğunu gösterdiği yukarıdaki A Yorumundan ayrılıyordum. Eğer durum buysa, R sq'nin de negatif önyargılı olduğunu izlemeyecek miydi?

— Dingus

Belki de bu sohbette yardımcı olacaktır digitalcommons.unf.edu/cgi/…

— Dingus