Bazı tahmincilerim çok farklı ölçeklerde - doğrusal bir regresyon modeli takmadan önce bunları dönüştürmem gerekiyor mu?

Çok boyutlu bir veri seti üzerinde doğrusal regresyon çalıştırmak istiyorum. Farklı boyutlar arasında düzen büyüklükleri açısından farklılıklar vardır. Örneğin, boyut 1 genellikle [0, 1] değer aralığına ve boyut 2 [0, 1000] değer aralığına sahiptir.

Farklı boyutlar için veri aralıklarının aynı ölçekte olmasını sağlamak için herhangi bir dönüşüm yapmam gerekir mi? Gerekirse, bu tür bir dönüşüm için herhangi bir rehberlik var mı?

regression multiple-regression linear-model

— Bit-soru
kaynak

Yanıtlar:

Değişkenleri değiştirmek / ölçeklendirmek yanıtla korelasyonlarını etkilemez

Bunun neden doğru olduğunu görmek için, $Y$ ve $X$ dır-dir $\rho$ . Sonra arasındaki korelasyon $Y$ ve $(X-a)/b$ dır-dir

\frac{c o v (Y, (X - a) / b)}{S D ((X - a) / b) \cdot S D (Y)} = \frac{c o v (Y, X / b)}{S D (X / b) \cdot S D (Y)} = \frac{\frac{1}{b} \cdot c o v (Y, X)}{\frac{1}{b} S D (X) \cdot S D (Y)} = ρ

$\frac{ {\rm cov}(Y,(X-a)/b) }{ {\rm SD}((X-a)/b) \cdot {\rm SD}(Y) } = \frac{ {\rm cov}(Y,X/b) }{ {\rm SD}(X/b) \cdot {\rm SD}(Y) } = \frac{ \frac{1}{b} \cdot {\rm cov}(Y,X) }{ \frac{1}{b}{\rm SD}(X) \cdot {\rm SD}(Y) } = \rho$

hangi aşağıdaki bağıntı tanımı ve üç gerçekler:

${\rm cov}(Y, X+a) = {\rm cov}(Y,X) + \underbrace{{\rm cov}(Y,a)}_{=0} = {\rm cov}(Y,X)$
${\rm cov}(Y,aX) = a {\rm cov}(Y,X)$
${\rm SD}(aX) = a \cdot {\rm SD}(X)$

Bu nedenle, modele uyum açısından (ör. $R^2$ veya girilen değerler), değişkenlerinizi kaydırmak veya ölçeklendirmek (örneğin, bunları aynı ölçeğe koymak) modeli değiştirmeyecektir , çünkü doğrusal regresyon katsayıları değişkenler arasındaki korelasyonlarla ilişkilidir. Sadece regresyon katsayılarınızın ölçeğini değiştirecektir; bu, öngörücülerinizi dönüştürmeyi seçerseniz çıktıyı yorumlarken akılda tutulması gerekir.

Düzenleme: Yukarıdaki, kesişme ile normal regresyon hakkında konuştuğunuzu varsaymıştır . Bununla ilgili birkaç nokta daha (teşekkürler @cardinal):

Değişkenleri dönüştürdüğünüzde kesişme değişebilir ve yorumlarda @cardinal'in işaret ettiği gibi, kesişmeyi modelden çıkarırsanız değişkenlerinizi kaydırdığınızda katsayılar değişecektir, ancak bunu yapmadığınız sürece bunu yapmadığınızı varsayıyorum. iyi bir neden (örneğin bu cevaba bakınız ).
Katsayılarınızı bir şekilde düzenliyorsanız (örn. Kement, sırt regresyonu), merkezleme / ölçeklendirme uygunluğu etkiler. Örneğin, cezalandırıyorsanız $\sum \beta_{i}^{2}$ (sırt regresyon cezası), tüm değişkenler ilk etapta aynı ölçekte olmadıkça standartlaştırıldıktan sonra eşdeğer bir uyumu kurtaramazsınız, yani aynı cezayı geri kazanacak sabit bir kat yoktur.

Bir araştırmacının tahmincileri ne zaman / neden dönüştürmek isteyebileceğiyle ilgili olarak

Yaygın bir durum (@Paul tarafından sonraki cevapta tartışılmıştır) araştırmacıların tüm katsayıların aynı ölçekte olması için tahmincilerini standartlaştırmasıdır . Bu durumda, nokta tahminlerinin boyutu, tahmin edicinin sayısal büyüklüğü standart hale getirildikten sonra hangi tahmin edicilerin en büyük etkiye sahip olduğu hakkında kabaca bir fikir verebilir.

Bir araştırmacının çok büyük değişkenleri ölçeklendirmek isteyebilmesinin bir başka nedeni, regresyon katsayılarının çok küçük bir ölçekte olmamasıdır. Örneğin, bir ülkenin nüfus büyüklüğünün suç oranı üzerindeki etkisine bakmak istiyorsanız (daha iyi bir örnek düşünemedim), katsayıdan dolayı nüfus büyüklüğünü orijinal birimlerinden ziyade milyonlarca olarak ölçmek isteyebilirsiniz. gibi bir şey olabilir $.00000001$ .

— Makro
kaynak

İki hızlı açıklama: Gönderinin başlangıcı doğru olsa da, bir engel bulunmadığında merkezlemenin bir etkisi olacağı gerçeğini gözden kaçırır . :) İkincisi, normalleştirme kullanılıyorsa , merkezleme ve yeniden ölçeklendirmenin önemli etkileri vardır . OP bunu düşünmese de, akılda tutulması gereken bir nokta olabilir.

— kardinal

Yeniden ölçeklendirme değişmezliği, eğer bir kişi matris notasyonu ile rahatsa kolayca görülebilir. İle

X

$X$ tam rütbe (basitlik için),

\hat{y} = X (X^{'} X)^{- 1} X^{'} y

$\hat y = X (X'X)^{-1} X'y$ . Şimdi değiştirirsek

X

$X$ tarafından

X D

$X D$ nerede

D

$D$ köşegen mi

\tilde{y} = (X D) ((X D)^{'} X D)^{- 1} (X D)^{'} y = X D (D X^{'} X D)^{- 1} D X^{'} y = X (X^{'} X)^{- 1} X^{'} y = \hat{y} .

$\tilde y = (X D) ((XD)'XD)^{-1} (XD)'y = X D(D X'X D)^{-1} D X'y = X (X'X)^{-1} X'y = \hat y\>.$

— kardinal

@cardinal, tahminleriniz düzenliyse merkezleme / ölçeklendirmenin bir etkisi olabileceği gerçeğinden bahsetmeye karar verdim. İlk başta direndim çünkü düzenli hale gelmeye aşina olmayanları karıştırabilecek uzun bir tartışma başlatacağını düşündüm, ancak nispeten az yer kaplayabileceğimi buldum. Teşekkürler--

— Makro

Tüm yorumlarım mutlaka cevabın güncellenmesi gerektiği anlamına gelmez. Çoğu zaman, yoldan geçenlerin ilgisini çekebilecek ilgili fikirler hakkında birkaç düşünce vermek için güzel cevaplar altında yan açıklamalara girmeyi seviyorum. (+1)

— kardinal

Oy sayımında korkak bir şeyler oluyor. Bir kez daha, daha önceki yorum yaparken bunu iptal ettim ve "almadı". Hmm.

— kardinal

"Normalleşme", çoğu regresyon yöntemi için yaygın bir rutindir. İki yol vardır:

Her değişkeni [-1, 1] sınırlarına eşleyin (MatLab'da mapminmax.
Her değişkenin ortalamasını kaldırın ve standart sapmasına (MatLab'da mapstd) bölün, yani aslında "normalleştirin". Gerçek ortalama bir sapma bilinmiyorsa, sadece örnek karakteristikleri alın: ${\tilde{X}}_{ben j} = \frac{X_{ben j} - μ_{ben}}{σ_{ben}}$ $\tilde{X}_{ij}=\frac{X_{ij}-\mu_i}{\sigma_i}$ veya ${\tilde{X}}_{ben j} = \frac{X_{ben j} - \bar{X_{ben}}}{s t d (X_{ben})}$ $\tilde{X}_{ij}=\frac{X_{ij} - \overline{X_i}}{std({X_i})}$ nerede $E[X_i] = \mu$ , $E[X_i^2-E[X_i]^2]=\sigma^2$ , $\overline{X_i}=\frac{1}{N}\sum_{j=1}^{N}X_{ij}$ ve $std({X_i}) = \sqrt{\frac{1}{N}\sum_{j=1}^{N}(X_{ij}^2 -\overline{X_{i}}^2)}$

Doğrusal regresyon değişken aralıklarına çok duyarlı olduğundan, genellikle normalleştirmeyi öneririm , bağımlılık hakkında önceden bilginiz yoksa ve tüm değişkenlerin göreceli olarak önemli olmasını bekliyorsanız tüm değişkenleri .

Aynı şey tepki değişkenleri için de geçerlidir, ancak onlar için çok önemli değildir.

Neden normalleştirme veya standartlaştırma yapıyorsunuz? Çoğunlukla modeldeki farklı değişkenlerin göreceli etkisini belirlemek için. Tüm değişkenler aynı birimlerdeyse elde edilebilir.

Bu yardımcı olur umarım!

— Paul
kaynak

Doğrusal regresyonun değişken aralıklarına çok duyarlı olduğunu söylediğinizde ne demek istiyorsunuz ? Herhangi İçin x1,x2,ybu iki komutları: summary(lm(y~x1+x2))$r.sqvesummary(lm(y~scale(x1)+scale(x2)))$r.sq -

R^{2}

$R^2$ değerleri katsayıları standartlaştırmadığınızda ve bunu yaptığınızda - eşdeğer uyumu gösteren aynı değeri verin.

— Makro

Ben oluşumda tam olarak doğru değildim. Ben foolowing demek istedim. Regresyon her zaman aynı olurdu (anlamında

R^{2}

$\mathbf{R^2}$ ) yalnızca verilerin doğrusal dönüşümlerini gerçekleştirirseniz. Ancak hangi değişkenlerin kabuklu ve hangilerinin neredeyse gürültülü olduğunu belirlemek istiyorsanız, ölçek önemlidir. Değişkenleri standartlaştırmak ve orijinal ölçeklerini unutmak sadece ikna edicidir. Dolayısıyla regresyon, göreli etkileri anlama açısından "duyumsal" dır.

— Paul

Açıklığa kavuştuğunuz için teşekkür ederiz, ancak hangi değişkenlerin kabuklu ve neredeyse gürültülü olduğu ölçek önemlidir tarafından genellikle

p

$p$ - standardize ettiğinizde de değişmeyecek olan değer (elbette kesişme hariç). Ham katsayı tahminlerinin daha iyi bir yorumunu sağladığına dikkatinizi çekerim.

— Makro