Bayes / MCMC'de çok iyi bir metne rastladım. BT, bağımsız değişkenlerinizin standartlaştırılmasının bir MCMC (Metropolis) algoritmasını daha verimli hale getireceğini, ancak aynı zamanda (çoklu) çarpışabilirliği azaltabileceğini önermektedir. Bu doğru olabilir mi? Bu standart olarak yapmam gereken bir şey mi ? (Üzgünüm).

Kruschke 2011, Bayesci Veri Analizi Yapmak. (AP)

düzenleme: örneğin

     > data(longley)
     > cor.test(longley$Unemployed, longley$Armed.Forces)

Pearson's product-moment correlation

     data:  longley$Unemployed and longley$Armed.Forces 
     t = -0.6745, df = 14, p-value = 0.5109
     alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
     -0.6187113  0.3489766 
     sample estimates:
      cor 
     -0.1774206 

     > standardise <- function(x) {(x-mean(x))/sd(x)}
     > cor.test(standardise(longley$Unemployed), standardise(longley$Armed.Forces))

Pearson's product-moment correlation

     data:  standardise(longley$Unemployed) and standardise(longley$Armed.Forces) 
     t = -0.6745, df = 14, p-value = 0.5109
      alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
      -0.6187113  0.3489766 
      sample estimates:
       cor 
     -0.1774206 

Bu korelasyonu veya dolayısıyla vektörlerin sınırlı doğrusal bağımlılığını azaltmamıştır.

Neler oluyor?

R,

Ana etkiler arasındaki eşzamanlılığı hiç değiştirmez. Ölçekleme de değildir. Herhangi bir doğrusal dönüşüm bunu yapmaz. Değişen, ana etkiler ve etkileşimleri arasındaki ilişkidir. A ve B, 0'lık bir korelasyonla bağımsız olsa bile, A ve A: B arasındaki korelasyon, ölçek faktörlerine bağlı olacaktır.

R konsolunda aşağıdakileri deneyin. rnormAyarladığınız popülasyon değerleriyle normal bir dağılımdan rastgele örnekler oluşturduğunu unutmayın, bu durumda 50 örnek. scaleFonksiyon 0 ortalama ve 1 SD numunenin standart hale getirmektedir.

set.seed(1) # the samples will be controlled by setting the seed - you can try others
a <- rnorm(50, mean = 0, sd = 1)
b <- rnorm(50, mean = 0, sd = 1)
mean(a); mean(b)
# [1] 0.1004483 # not the population mean, just a sample
# [1] 0.1173265
cor(a ,b)
# [1] -0.03908718

Bu bağımsız örnekler için arızi korelasyon 0'a yakındır. Şimdi ortalama 0 ve SD 1 olarak normalleştirin.

a <- scale( a )
b <- scale( b )
cor(a, b)
# [1,] -0.03908718

Yine, bu ortalama her ikisi için de 0 ve SD = 1 olduğu halde aynı değerdir ave b.

cor(a, a*b)
# [1,] -0.01038144

Bu da 0'a çok yakın. (A * b etkileşim terimi olarak kabul edilebilir)

Bununla birlikte, genellikle SD ve öngörücülerin ortalamaları biraz farklıdır, bu yüzden değişelim b. Yeni bir örnek almak yerine, orijinali bortalama 5 ve SD 2 olacak şekilde yeniden ölçeklendireceğim .

b <- b * 2 + 5
cor(a, b)
 # [1] -0.03908718

Tekrardan, bu baştan beri gördüğümüz korelasyon. Ölçeklendirmenin ave arasındaki korelasyon üzerinde hiçbir etkisi yoktur b. Fakat!!

cor(a, a*b)
# [1,] 0.9290406

Şimdi bu, merkezleme ve / veya standartlaştırma yoluyla ortadan kaldırabileceğiniz önemli bir korelasyona sahip olacak. Genellikle sadece merkezleme ile giderim.

Diğerlerinin daha önce de bahsettiği gibi, standardizasyonun kollearlık ile hiçbir ilgisi yoktur.

Mükemmel eşbiçimlilik

$X$$\mu_X$$\sigma_X$

$$\newcommand{Var}{\mathrm{Var}} Z_X = \frac{X - \mu_X}{\sigma_X}$$

yer alır ortalama ve standart sapma özelliklerini verilen beklenen değer ve varyans bu , ve , , burada rv ve sabittir.$\mu_Z = 0$$\sigma_Z = 1$$E(X + a) = E(X) + a$$E(bX) = b\,E(X)$$\Var(X + a) = \Var(X)$$\Var(bX) = b^2 \Var(X)$$X$$a,b$

Biz iki değişken olduğunu söylemek ve olan mükemmel aynı doğrultudaki bu tür değerleri ortaya çıkması durumunda, ve o$X$$Y$$\lambda_0$$\lambda_1$

$$Y = \lambda_0 + \lambda_1 X$$

Eğer Aşağıda, ortalama sahiptir ve standart sapma , daha sonra sahip ortalama ve standart sapma . Şimdi, her iki değişkeni standartlaştırdığımızda (araçlarını kaldırın ve standart sapmalara ), ...$X$$\mu_X$$\sigma_X$$Y$$\mu_Y = \lambda_0 + \lambda_1 \mu_X$$\sigma_Y = \lambda_1 \sigma_X$$Z_X = Z_X$

bağıntı

Kuşkusuz, mükemmel eşzamanlılık, sık sık göreceğimiz bir şey değildir, ancak güçlü bir şekilde ilişkili değişkenler de bir sorun olabilir (ve bunlar eşzamanlılıkla ilişkili türlerdir). Standardizasyon korelasyonu etkiler mi? Lütfen ölçeklemeden önce ve sonra iki grafikte iki ilişkili değişkeni gösteren aşağıdaki grafikleri karşılaştırın:

Farkı bulabilir misin? Gördüğünüz gibi , eksen etiketlerini kasıtlı olarak kaldırdım, bu yüzden sizi hile olmadığım konusunda ikna etmek için etiket eklenmiş grafiklere bakın:

Korelasyon ise , matematiksel olarak konuşursak

$$\newcommand{Corr}{\mathrm{Corr}} \newcommand{Cov}{\mathrm{Cov}} \Corr(X, Y) = \frac{\Cov(X,Y)}{\Var(X)\,\Var(Y)}$$

sonra doğrusal değişkenler ile

$$\require{cancel} \begin{align} \Corr(X, Y) &= \frac{E[(X - \mu_X)(Y - \mu_Y)]}{\sigma_X\sigma_Y} \\ &=\frac{E[(X - \mu_X)(\cancel{\lambda_0} + \lambda_1 X - \cancel{\lambda_0} - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)(\lambda_1 X - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)\lambda_1( X - \mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{\cancel{\lambda_1} E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\;\cancel{\lambda_1}\sigma_X} \\ &= \frac{E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\sigma_X} \end{align}$$

şimdi bu yana ,$\Cov(X,X) = \Var(X)$

$$\begin{align} &= \frac{\Cov(X, X)}{\sigma_X^2} = \frac{\Var(X)}{\Var(X)} = 1 \end{align}$$

Standartlaştırılmış değişkenlerle

$$\begin{align} \Corr(Z_X, Z_Y) &= \frac{E[(Z_X - 0)(Z_Y - 0)]}{1 \times 1} \\ &= \Cov(Z_X, Z_Y) = \Var(Z_X) = 1 \end{align}$$

beri ...$Z_X = Z_Y$

Son olarak, Kruschke'nin bahsettiği şeyin , değişkenlerin standartlaştırılmasının Gibbs örnekleyicisi için hayatı kolaylaştırdığı ve sunduğu regresyon modelinde kesişim ve eğim arasındaki korelasyonun azalmasına yol açtığına dikkat edin. Değişkenlerin standartlaştırılmasının değişkenler arasındaki eşbiçimliliği azalttığını söylemez.

Standardizasyon, değişkenler arasındaki korelasyonu etkilemez. Tamamen aynı kalırlar. Korelasyon, değişkenlerin yönünün senkronizasyonunu yakalar. Standardizasyonda değişkenlerin yönünü değiştiren hiçbir şey yoktur.

Değişkenleriniz arasındaki çoklu doğrusallığı ortadan kaldırmak istiyorsanız, Temel Bileşen Analizi'ni (PCA) kullanmanızı öneririm. Bildiğiniz gibi PCA, çoklu doğrusallık sorununun giderilmesinde çok etkilidir. Öte yandan PCA, birleşik değişkenleri (temel bileşenler P1, P2, vb.) Oldukça opak hale getirir. PCA modelini açıklamak her zaman daha geleneksel çok değişkenli modelden çok daha zordur.

Kollearlığı azaltmaz, VIF'i azaltabilir. Genel olarak VIF'i, müştereklikle ilgili endişelerin göstergesi olarak kullanıyoruz.

Kaynak: http://blog.minitab.com/blog/adventures-in-statistics-2/what-are-the-effects-of-multicollinearity-and-when-can-i-ignore-them

Standardizasyon, ortak doğrusallığı azaltmanın yaygın bir yoludur. (Birkaç çift değişken üzerinde deneyerek çalıştığını çok hızlı bir şekilde doğrulayabilmelisiniz.) Bunu düzenli olarak yapıp yapmamanız analizlerinizde bir problemin ne kadar olduğuna bağlıdır.

Düzenleme: Hata yaptığımı görüyorum. Yine de standardizasyonun yaptığı şey, ürün terimleriyle (etkileşim terimleri) eşzamanlılığı azaltmaktır.