İki değişkenin toplamı, bireysel değişkenlerden daha fazla varyansı nasıl açıklayabilir?

13

İki yordayıcı negatif korelasyonlu olduğunda toplamın üçüncü değişkenle korelasyonu için bazı şaşırtıcı sonuçlar elde ediyorum. Bu şaşırtıcı sonuçlara neden olan nedir?

Örnek 1: İki değişkenin toplamı ile üçüncü değişkenin korelasyonu

Aşağıda gösterilen Guildford'un 1965 metninin 427. sayfasındaki formül 16.23'ü düşünün.

Şaşırtıcı bulgu: Her iki değişken de .2'yi üçüncü değişkenle ve -.7'yi birbiriyle ilişkilendirirse, formül 0,52 değeriyle sonuçlanır. İki değişkenin her biri sadece .2'yi üçüncü değişkenle ilişkilendirirse toplamın üçüncü değişkenle korelasyonu nasıl olabilir?

Örnek 2: İki değişken ile üçüncü değişken arasındaki çoklu korelasyon nedir?

Guildford'un 1965 metninin 404. sayfasındaki formül 16.1'i düşünün (aşağıda gösterilmiştir).

Şaşırtıcı bulgu: Aynı durum. Her iki değişken de .2'yi üçüncü değişkenle ve -.7'yi birbiriyle ilişkilendirirse, formül 0,52 değerine neden olur. İki değişkenin her biri sadece .2'yi üçüncü değişkenle ilişkilendirirse toplamın üçüncü değişkenle korelasyonu nasıl olabilir?

Hızlı bir Monte Carlo simülasyonu denedim ve Guilford formüllerinin sonuçlarını doğruladı.

Ancak, iki öngörücünün her biri üçüncü değişkenin varyansının% 4'ünü öngörüyorsa, bunların toplamı varyansın 1 / 4'ünü nasıl tahmin edebilir?

Kaynak: Psikoloji ve Eğitimde Temel İstatistikler, 4. baskı, 1965.

AÇIKLAMA

Karşılaştığım durum, bireylerin şimdi yeteneklerini ölçmeye dayalı gelecekteki performanslarını tahmin etmeyi içerir.

Aşağıdaki iki Venn diyagramı durum hakkındaki anlayışımı gösterir ve benim şaşkınlığımı netleştirmek içindir.

Bu Venn diyagramı (Şekil 1) x1 ve C arasındaki sıfır r = .2 sırasını yansıtır. Alanımda bir kriteri mütevazi olarak tahmin eden bu gibi birçok tahmin değişkeni vardır.

Bu Venn diyagramı (Şekil 2), her biri C'yi r = .2'de tahmin eden iki öngörü ve iki belirleyici, r = - .7 gibi iki öngörücüyü yansıtır.

İki r = .2 öngörücüsü arasında, C varyansının% 25'ini tahmin etmelerini sağlayacak bir ilişki öngören bir kayıptayım.

X1, x2 ve C arasındaki ilişkiyi anlamak için yardım arıyorum.

(Soruma cevap olarak bazılarının önerdiği gibi) x2, x1 için bir baskılayıcı değişken olarak davranıyorsa, ikinci Venn diyagramında hangi alan bastırılıyor?

Somut bir örnek yardımcı olacaksa, x1 ve x2'nin iki insan yeteneği ve C'nin 4 yıl sonra 4 yıllık üniversite not ortalaması olduğunu düşünebiliriz.

Bir süpresör değişkeninin iki r = .2 sıfır dereceli r'nin% 8 açıklanmış varyansının C varyansının% 25'ini büyütmesine ve açıklamasına nasıl neden olabileceğini düşünmekte sorun yaşıyorum. Somut bir örnek çok yararlı bir cevap olacaktır.

correlation multiple-regression

— Joel W.
kaynak

İstatistiklerde, bir dizi bağımsız değişken toplamının varyansının varyanslarının toplamına eşit olduğuna dair eski bir kural vardır.

— Mike Hunter

@DJohnson. Yorumunuz sorulan soru ile nasıl ilişkilidir?

— Joel W.

Üzgünüm, soruyu anlamıyorum. Bana göre bunun nasıl bir ilişki olduğu açık. Ayrıca, ne ödül için uygun olan ne de daha derin detaylandırma gerektiren bir yorumdur.

— Mike Hunter

1

@DJohnson. Yorumunuz sorulan soru ile nasıl ilişkilidir? Bana göre, nasıl bir ilişki olduğu belli değil.

— Joel W.20

2

N görüntülemenin anlamı hakkındaki sorunuz Meta CV sitesinde daha iyi yanıt alabilir.

— mdewey

3

Bu, iki öngörücünün her ikisi de büyük bir sıkıntı faktörü içerdiğinde, ancak ters işaretle olabilir, bu yüzden onları topladığınızda rahatsızlık iptal edilir ve üçüncü değişkene çok daha yakın bir şey elde edersiniz.

Daha da uç bir örnekle açıklayalım. Varsayalım bağımsız standart normal rasgele değişkenlerdir. Şimdi izin ver $X, Y \sim N(0,1)$

$A = X$

$B = -X + 0.00001Y$

Söyle üçüncü değişken, olur sizin iki habercisi olabilmekte ve hakkında hiçbir şey bilmiyorum gizli bir değişkendir. A'nın Y ile korelasyonu 0 ve B'nin Y ile korelasyonu çok küçüktür, 0.00001'e yakındır. * Ancak ile korelasyonu 1'dir. $Y$ $A, B$ $X$ $A+B$ $Y$

* B'nin standart sapmasının 1'den biraz fazla olması için ufacık bir düzeltme var.

— Paul
kaynak

Sosyal bilimlerde bu tür bir durum ortaya çıkıyor mu?

— Joel W.

1

Sosyal bilim jargonunda, bu temel olarak zayıf bir etkiyi belirli bir şekilde karıştırıcı güçlü bir etkidir. Ben bir sosyal bilim uzmanı değilim, ama bunun bir örneğini bulmanın zor olduğunu düşünemiyorum.

— Paul

Fizik bilimlerinden başka örnekleriniz olabilir mi?

— Joel W.

Açıkladığınız ilişki bir Venn diyagramında gösterilebilir mi?

— Joel W.

Kişisel olarak burada bir Venn diyagramı bulamazdım, ancak eğer gerekirse, B'yi bir dikdörtgen olarak çizerdim, sonra iki alt dikdörtgene, büyük bir şişman bir A ve küçük bir sıska Y'ye bölerdim. A büyük bölümünü iptal etmek ve Y küçük parçasını bırakmak

— Paul

10

Üç değişkeni ilişkisiz diğer değişkenlerin doğrusal kombinasyonları olarak düşünmek yararlı olabilir. Anlayışımızı geliştirmek için onları geometrik olarak tasvir edebilir, onlarla cebirsel olarak çalışabilir ve istediğimiz gibi istatistiksel açıklamalar sağlayabiliriz.

O halde, korelasyonsuz üç ortalama, birim-varyans değişkeni , ve düşünün . Bu yapılardan aşağıdakiler: $X$ $Y$ $Z$

U = X, V = (- 7 X + \sqrt{51} Y) / 10; W = (\sqrt{3} X + \sqrt{17} Y + \sqrt{55} Z) / \sqrt{75} .

$U = X,\quad V = (- 7 X + \sqrt{51}Y )/10;\quad W=(\sqrt{3} X + \sqrt{17} Y + \sqrt{55}Z)/\sqrt{75}.$

Geometrik Açıklama

Aşağıdaki grafik, bu değişkenler arasındaki ilişkileri anlamak için ihtiyacınız olan her şeyle ilgilidir.

Bu sahte 3D diyagram koordinat sisteminde , , ve gösterir . Vektörler arasındaki açılar korelasyonlarını yansıtır (korelasyon katsayıları açıların kosinüsüdür). ve arasındaki büyük negatif korelasyon, aralarındaki geniş açıda yansıtılır. ve ile küçük pozitif korelasyonları, birbirine yakın dikliklerinden yansır. Bununla birlikte, ve toplamı doğrudan altına düşer $U$ $V$ $W$ $U+V$ $X,Y,Z$ $U$ $V$ $U$ $V$ $W$ $U$ $V$ $W$ , keskin bir açı (yaklaşık 45 derece) yapmak: beklenmedik derecede yüksek pozitif korelasyon var.

Cebirsel Hesaplamalar

Daha fazla titizlik isteyenler için, grafikteki geometriyi yedeklemek için cebir.

Tüm bu kare kökler, , ve birim varyanslarına sahip olmasını sağlamak için oradadır : bu, korelasyonlarını hesaplamayı kolaylaştırır, çünkü korelasyonlar kovaryanslara eşit olacaktır. bu nedenle $U$ $V$ $W$

Cor (U, V) = Cov (U, V) = E (U V) = E (\sqrt{51} X Y - 7 X^{2}) / 10 = - 7 / 10 = - 0.7

$\operatorname{Cor}(U, V) = \operatorname{Cov}(U,V) = \mathbb{E}(UV) = \mathbb{E}(\sqrt{51}XY- 7 X^2)/10 = -7/10 = -0.7$

çünkü ve ilişkisizdir. Benzer şekilde, $X$ $Y$

Cor (U, W) = \sqrt{3 / 75} = 1 / 5 = 0.2

$\operatorname{Cor}(U,W) = \sqrt{3/75} = 1/5 = 0.2$

ve

Cor (V, W) = (- 7 \sqrt{3} + \sqrt{15} \sqrt{17}) / (10 \sqrt{75}) = 1 / 5 = 0.2.

$\operatorname{Cor}(V,W) = (-7\sqrt{3} + \sqrt{15}\sqrt{17})/(10\sqrt{75}) = 1/5 = 0.2.$

En sonunda,

Cor (U + V, W) = \frac{Cov (U + V, W)}{\sqrt{Var (U + V) Var (W)}} = \frac{1 / 5 + 1 / 5}{\sqrt{Var (U) + Var (V) + 2 Cov (U, V)}} = \frac{2 / 5}{\sqrt{1 + 1 - 2 (7 / 10)}} = \frac{2 / 5}{\sqrt{3 / 5}} \approx 0.5164.

$\operatorname{Cor}(U+V,W) = \frac{\operatorname{Cov}(U+V,W)}{\sqrt{\operatorname{Var}(U+V)\operatorname{Var}(W)}} = \frac{1/5 + 1/5}{\sqrt{\operatorname{Var}(U) + \operatorname{Var}(V) + 2\operatorname{Cov}(U,V)}} = \frac{2/5}{\sqrt{1 + 1 - 2(7/10)}} = \frac{2/5}{\sqrt{3/5}}\approx 0.5164.$

Sonuç olarak, bu üç değişken istenen korelasyonlara sahiptir.

İstatistiksel Açıklama

Şimdi her şeyin neden olduğu gibi çalıştığını görebiliriz:

$U$ ve arasında güçlü bir negatif korelasyona sahiptir, çünkü , negatifi ile küçük bir katı şeklinde küçük bir "gürültü" ile orantılıdır . $V$ $-7/10$ $V$ $U$ $Y$
$U$ ve , arasında zayıf pozitif korelasyona sahiptir, çünkü , küçük bir katını ve ayrıca ve katları şeklinde çok fazla gürültü içerir . $W$ $1/5$ $W$ $U$ $Y$ $Z$
$V$ ve arasında zayıf pozitif korelasyona sahiptir, çünkü ( hiçbir korelasyonu değiştirmeyecek çarpıldığında ) üç şeyin toplamıdır: $W$ $1/5$ $W$ $\sqrt{75}$
- $\sqrt{17}Y$ ile pozitif korelasyon gösteren ; $V$
- $-\sqrt{3}X$ , ile negatif korelasyonu genel korelasyonu azaltır; $V$
- ve çok fazla gürültü yaratan katları . $Z$
Bununla birlikte, oldukça pozitif olarak korelasyon bunun nedeni içermeyen bu kısmının katları . $U+V = (3X + \sqrt{51}Y)/10 = \sqrt{3/100}(\sqrt{3}X + \sqrt{17}Y)$ $W$ $W$ $Z$

— whuber
kaynak

Bunu bir Venn diyagramında göstermenin bir yolu var mı? Matematiğe rağmen, yine de toplam değişkene giren iki değişkenin her birinin kapalı olduğunu tahmin ederken üçüncü bir değişkenin varyansının% 25 + %'sini açıklayan iki değişkenin toplamının mantığını görmüyorum, ancak üçüncü değişkenin varyansının% 4'ü . Açıklanan varyans, sadece iki değişkeni ekleyerek nasıl% 25 açıklanmış varyans haline gelebilir?

— Joel W.15

Ayrıca, bu garip fenomenin pratik uygulamaları var mı?

— Joel W.15

Bir Venn diyagramı açıklanan varyansı temsil etmek için uygun değilse bana neden uygunsuz olduğunu söyleyebilir misiniz?

— Joel W.

@JoelW. Buradaki güzel cevap, Venn diyagramlarının neden bu fenomeni (cevabın sonuna doğru) gösterme görevine bağlı olmadığına değiniyor

— Jake Westfall

Joel, Cohens, varyansları analiz etmek için "Ballantine" adını verdikleri Venn benzeri bir diyagram kullandı. Örneğin, ww2.amstat.org/publications/jse/v10n1/kennedy.html adresine bakın . Pratik uygulamalara gelince, karşıt soruyu sormalısınız: hangi varyans ve varyans ayrışması uygulamaları pratik değildir ?

— whuber

5

Başka bir basit örnek:

$z \sim \mathcal{N}(0,1)$
$x_1 \sim \mathcal{N}(0,1)$
$x_2 = z - x_1$ $z = x_1 + x_2$

Sonra:

$\mathrm{Corr}(z, x_1) = 0$
$\mathrm{Corr}(z, x_2) \approx .7$
$\mathrm{Corr}(z, x_1 + x_2) = 1$

Geometrik olarak, WHuber'ın grafiğindeki gibi. Kavramsal olarak şöyle görünebilir:

$E[XY]$

$x_1$ ve ilişkisizdir, dolayısıyla dikeydirler. Let iki vektör arasındaki göstermektedirler açı. $z$ $\theta$

$\mathrm{Corr}(z, x_1) = \cos \theta_{zx_1} = 0 \quad \quad \theta_{z,x_1} = \frac{\pi}{2}$
$\mathrm{Corr}(z, x_2) = \cos \theta_{zx_2} \approx .7 \quad \quad \theta_{z,x_2} = \frac{\pi}{4}$
$\mathrm{Corr}(z, x_1 + x_2) = \cos \theta_{z,x_1+x_2} = 1 \quad \quad \theta_{z, x_1 + x_2} = 0$

Yorumların Flounderer yanıtını tartışma bağlanmak için, düşünmek bazı sinyal olarak bazı gürültü olarak ve gürültülü sinyal sinyali toplamı olarak ve gürültü . Ekleme için gürültü çıkararak eşdeğerdir gürültülü sinyal gelen . $z$ $-x_1$ $x_2$ $z$ $-x_1$ $x_1$ $x_2$ $-x_1$ $x_2$

— Matthew Gunn
kaynak

(+1) Güzel örnek!

— user795305

Lütfen cevabınızın tesislerini açıklayınız. Z = x1 + x2 poz verdikten sonra neden “o zaman Corr (z, x1) = 0” deyin? İlk Let ifadenizden Corr (z, x1) = 0'ın geldiğini mi söylüyorsunuz yoksa sıfır korelasyonu ek bir varsayım mı? Ek bir varsayım ise, asıl sorudaki durum neden bu ek varsayımı gerektirir?

— Joel W.

z

$z$

x_{1}

$x_1$

z

$z$

x_{1}

$x_1$

z - x_{1}

$z - x_1$

x_{2}

$x_2$

@MatthewGunn. Üçüncü Let'iniz z = x1 + x2 diyor. Bu, z ve x1'in bağımsız olduğunu söyleyen ilk iki parçanızı ihlal ediyor gibi görünüyor.

— Joel W.

1

z = x_{1} + x_{2}

$z = x_1 + x_2$

z

$z$

x_{1}

$x_1$

3

Yorumunuzu adresleme:

Matematiğe rağmen, yine de toplam değişkene giren iki değişkenin her birinin kapalı olduğunu tahmin ederken üçüncü bir değişkenin varyansının% 25 + %'sini açıklayan iki değişkenin toplamının mantığını görmüyorum, ancak üçüncü değişkenin varyansının% 4'ü . Açıklanan varyans, sadece iki değişken eklenerek% 25 açıklanmış varyans haline nasıl gelir?

Buradaki mesele "varyans açıklandı" terminolojisi gibi görünüyor. İstatistiklerdeki birçok terim gibi, bu, gerçekte olduğundan daha fazla anlamına geldiği gibi ses çıkarmak için seçildi.

İşte basit bir sayısal örnek. Bazı değişkenlerinin olduğunu varsayalım $Y$

y = (6, 7, 4, 8, 9, 6, 6, 3, 5, 10)

$y = (6, 7, 4, 8, 9, 6, 6, 3, 5, 10)$

$U$ $Y$ $R$ $R$ $Y$

r = (- 20, - 80, 100, 90, 50, 70, 40, 30, 40, 60)

$r = (-20, -80, 100, 90, 50, 70, 40, 30, 40, 60)$

$U = R + 0.1Y$

u = (- 19.4, - 79.3, 100.4, 90.8, 50.9, 70.6, 40.6, 30.3, 40.5, 61.0)

$u = (-19.4, -79.3, 100.4, 90.8, 50.9, 70.6, 40.6, 30.3, 40.5, 61.0)$

$V=-R+0.1Y$

v = (20.6, 80.7, - 99.6, - 89.2, - 49.1, - 69.4, - 39.4, - 29.7, - 39.5, - 59.0)

$v = (20.6, 80.7, -99.6, -89.2, -49.1, -69.4, -39.4, -29.7, -39.5, -59.0)$

$U$ $V$ $Y$ $r$ $0.2Y$ $Y$

$Y$ $U$ $U$ $R$ $V$ $R$ $Y$ $U+V$

$A$ $B$ $B$ $A$

— Flounderer
kaynak

@ naught101 değişkenlerinizi göstermek için bazı rakamlar yarattı, Flounderer. Bunları dahil etmenin size cazip gelip gelmediğini görmek isteyebilirsiniz.

— gung - Monica'yı eski durumuna döndürün

Tabii, istediğiniz gibi düzenleyin. Aslında iş yerinde imgur göremiyorum ama eminim iyi olacak!

— Flounderer

Öneriyi reddettim, b / c Burada sizinle temasa geçtiğini görmedim. Bununla birlikte, önerilen düzenleme sırasına giderek onaylayabilirsiniz.

— gung - Monica'yı eski durumuna döndürün

Verdiğiniz örnek dikkatlice hazırlanmışsa ilginçtir, ancak sunduğum durum daha geneldir (sayılar dikkatlice seçilmemiştir) ve 2 değişken N'ye dayanmaktadır (0,1). Terminolojiyi "açıklar" dan "paylaşılan" olarak değiştirsek bile, soru devam etmektedir. Her biri üçüncü bir değişkenle% 4 paylaşılan varyansa sahip 2 rastgele değişken, formüle göre üçüncü bir değişkenle% 25 paylaşılan varyansa sahip basit bir toplam açısından nasıl birleştirilebilir? Ayrıca, hedef tahmin ise, paylaşılan varyanstaki bu garip artışın gerçek dünyadaki pratik uygulamaları var mı?

— Joel W.16

Elektronikte herhangi bir yerde (yüksek gürültü + zayıf sinyal) + (-yüksek ses) = zayıf sinyal varsa, bunu uygularsınız. Örneğin, gürültü önleyici kulaklıklar.

— Flounderer