Ortogonal, korelasyon ve bağımsızlık arasındaki ilişki nedir?

ANOVA'nın bir yönünden farklı olan araçları bulmak için planlı kontrastları kullanırken, kısıtlamaların birbirleriyle ilişkisiz olmaları ve tip I hatasının şişirilmelerini engellemeleri için ortogonal olması gerektiğini söyleyen bir makale okudum.

Ortogonalın neden hiçbir koşulda ilişkisiz olduğunu anlamadım. Bunun görsel / sezgisel bir açıklamasını bulamıyorum, bu yüzden bu makaleleri / cevapları anlamaya çalıştım.

https://www.psych.umn.edu/faculty/waller/classes/FA2010/Readings/rodgers.pdf

Ortogonal istatistik bağlamında ne anlama geliyor?

ama bana göre birbirleriyle çelişiyorlar. Birincisi, eğer iki değişken birbiriyle ilişkisiz ve / veya ortogonal ise, lineer olarak bağımsız olduklarını, fakat lineer olarak bağımsız olduklarının, ilişkisiz ve / veya ortogonal oldukları anlamına gelmediğini söyler.

Şimdi ikinci linkte "ortogonal anlamsız anlamına gelir" ve "X ve Y bağımsızsa o zaman Ortogonal olurlar. Fakat görüş doğru değildir" gibi cevaplar vardır.

İkinci bağlantıdaki bir başka ilginç yorum, iki değişken arasındaki korelasyon katsayısının, bu değişkenlere karşılık gelen iki vektör arasındaki açının kosinüsüne eşit olduğu anlamına gelir; bu, iki ortogonal vektörün tamamen ilişkisiz olduğu anlamına gelir (ilk makale ne değildir). istemler).

Öyleyse bağımsızlık, ortogonal ve korelasyon arasındaki gerçek ilişki nedir? Belki bir şey özledim ama ne olduğunu bulamıyorum.

correlation independence

— Carl Levasseur
kaynak

Bu sorunun sağında "Bağlantılı" ve "İlgili" olarak gösterilen soruların cevaplarından hiçbiri sizi tatmin etmiyor mu?

— Dilip Sarwate

Sağladığım iki bağlantı sağlam bir cevap veriyor gibi görünüyor ama farklı şeyler ifade ediyor ve ilgili sorulara baktığımda, cevap veren kişilerin birbirleriyle aynı fikirde olmaktan çok uzak olduğunu görebiliyorum

— Carl Levasseur

Karışıklık / algılanan çelişki, tamamen doğrusal bağımsızlık ile istatistiksel bağımsızlık arasındaki farktan kaynaklanıyor olabilir.

— jona

(ANOVA) kısıtlamalarının dikey olması gerektiğini düşünüyorum , bu sorunun hayati bir yönüdür: bu sadece rastgele değişkenlerle ilgili değildir. Ayrıca, Xian'ın olası bir kopya olarak önerdiği yakından ilgili soruya kıyasla "bağımsızlık" üzerine ekstra bir vurgu var (bu soruda OP, "cevapların büyük ölçüde alındığı için" bağımsızlığı "anladığını belirtti). Bu yüzden, bunun bir kopya olmadığını ve ikinci olarak, karışıklığın “bağımsızlığın” çoklu anlamlarına sarılabileceğini düşünüyorum.

— Silverfish

Ayrıca bunun bir kopya olmadığını da düşünüyorum. Bu soru korelasyonu ifade etmiyor ve cevap ortogonalite ile ilişkisizlik arasındaki olası farkı detaylandırmıyor. Dahası, posterin işaret ettiği gibi, farklı ilgili sorulara verilen çelişkili cevaplar vardır.

— A. Donda

Yanıtlar:

Bağımsızlık istatistiksel bir kavramdır. İki rastgele değişken ve , eğer ortak dağılımları marjinal dağılımların ürünü ise, yani eğer her değişken yoğunluğu veya daha genel olarak ise istatistiksel olarak bağımsızdır. buradaki , her rastgele değişkenin kümülatif dağılım fonksiyonunu gösterir. $X$ $Y$

f (x, y) = f (x) f (y)

$f(x, y) = f(x) f(y)$

f

$f$

F (x, y) = F (x) F (y)

$F(x, y) = F(x) F(y)$

F

$F$

Korelasyon , zayıf fakat ilgili bir istatistiksel kavramdır. İki rastgele değişkenin (Pearson) korelasyonu, standartlaştırılmış değişkenlerin ürününün beklentisidir; yani, Değişkenler, ilintisiz ise . Bağımsız olan iki rastgele değişkenin mutlaka ilişkili olmadığı ancak bunun tersi olmadığı gösterilebilir.

ρ = E [\frac{X - E [X]}{\sqrt{E [(X - E [X])^{2}]}} \frac{Y - E [Y]}{\sqrt{E [(Y - E [Y])^{2}]}}] .

$\newcommand{\E}{\mathbf E} \rho = \E \left [ \frac{X - \E[X]}{\sqrt{\E[(X - \E[X])^2]}} \frac{Y - \E[Y]}{\sqrt{\E[(Y - \E[Y])^2]}} \right ].$

ρ = 0

$\rho = 0$

Ortogonallik , geometride ortaya çıkan ve lineer cebir ve matematiğin ilgili alanlarında genelleştirilmiş bir kavramdır . Lineer cebir olarak, iki vektörün ortogonalite ve de tanımlandığı iç çarpım boşluklar , örneğin, vektör uzayı bir iç ürünle durumda edilene, iç çarpım farklı şekillerde tanımlanabilir (farklı iç ürün boşlukları ile sonuçlanır). Vektörler sayı dizileri biçiminde verilirse, , o zaman tipik bir seçenek nokta ürünüdür , $u$ $v$ $\langle u, v \rangle$

⟨ u, v ⟩ = 0.

$\langle u, v \rangle = 0.$

u = (u_{1}, u_{2}, \dots u_{n})

$u = (u_1, u_2, \ldots u_n)$

⟨ u, v ⟩ = \sum_{i = 1}^{n} u_{i} v_{i}

$\langle u, v \rangle = \sum_{i = 1}^n u_i v_i$ .

Ortogonallik bu nedenle kendi başına bir istatistiksel kavram değildir ve gözlemlediğiniz karmaşa muhtemelen lineer cebir kavramının istatistiklere çevirilerinden kaynaklanmaktadır:

a) Resmen, rastgele değişkenlerin bir boşluğu bir vektör boşluğu olarak düşünülebilir. Daha sonra bu alanda bir iç ürünün farklı şekillerde tanımlanması mümkündür. Bir ortak seçimi kovaryans olarak tanımlamaktır: İki rastgele değişkenin korelasyonu tam olarak kovaryans sıfır ise sıfır olduğundan, bu tanıma göre ilişkisizlik ortogonalite ile aynıdır. (Başka bir olasılık, rastgele değişkenlerin iç çarpımını, sadece ürünün beklentisi olarak tanımlamaktır .)

⟨ X, Y ⟩ = c O v (X, Y) = E [(X - E [X]) (Y - E [Y])] .

$\langle X, Y \rangle = \mathrm{cov} (X, Y) = \E [ (X - \E[X]) (Y - \E[Y]) ].$

b) İstatistikte göz önüne aldığımız değişkenlerin tümü rastgele değişken değildir. Özellikle doğrusal regresyonda, rastgele sayılmayan ancak önceden tanımlanmış bağımsız değişkenlerimiz vardır. Bağımsız değişkenler genellikle, dikgenliğin nokta ürün tarafından doğal olarak tanımlandığı sayı dizileri olarak verilir (yukarıya bakın). Bağımsız değişkenlerin ortogonal olduğu ya da olmadığı bağımsız regresyon modellerinin istatistiki sonuçlarını araştırabiliriz. Bu bağlamda, diklik özel olarak istatistiksel bir tanımlamaya sahip değildir ve hatta daha fazlası: rastgele değişkenler için geçerli değildir.

Silverfish'in yorumuna cevap eklenmesi: Ortogonallik yalnızca orijinal regresörlerle ilgili değil, aynı zamanda kontrastlarla da ilgilidir, çünkü basit kontrastların (kontrast vektörleriyle belirtilen) tasarım matrisinin, yani kümenin dönüşümleri olarak görülebilir. bağımsız değişkenler, yeni bir bağımsız değişkenler kümesine. Kontrastlar için diklik nokta ürünü ile tanımlanır . Eğer orjinal regresörler karşılıklı olarak ortogonal ise ve biri ortogonal kontrastlar uygularsa, yeni regresörler de karşılıklı ortogonal olur. Tezat seti ana etkiler ve etkileşimler, altta yatan fikri içine örneğin varyans ayrışmasını açıklayan olarak görülebilir olduğunu bu olmasını sağlar ANOVA .

A) değişkenine göre, ilişkisizlik ve ortogonalite aynı şey için sadece farklı isimler olduğundan, bence terimi bu anlamda kullanmaktan kaçınmak en iyisidir. Eğer rastgele değişkenlerin ilişkisizliği hakkında konuşmak istiyorsak, diyelim ve farklı bir geçmişe ve farklı sonuçlara sahip başka bir kelime kullanarak meseleleri karmaşıklaştırmayalım. Bu ayrıca, özellikle çoklu regresyonun tartışılmasında oldukça yararlı olan, b) varyasyonuna göre kullanılacak olan diklik terimini serbest bırakmaktadır. Ve diğer taraftan, korelasyon terimini bağımsız değişkenlere uygulamaktan kaçınmalıyız, çünkü bunlar rastgele değişken değildir.

Rodgers ve arkadaşlarının sunumu, özellikle ortogonaliteyi ilişkisizlikten ayırt etmeyi anladıkları için bu görüşe paraleldir. Bununla birlikte, korelasyon terimini rastgele olmayan değişkenlere (sayı dizileri) uygularlar. Bu sadece örnek korelasyon katsayısı ile ilgili olarak istatistiksel olarak anlam ifade eder . Sayı dizisi rastgele bir değişkenin gerçekleşmeler dizisi olarak kabul edilmedikçe, bu terimin bu kullanımından kaçınılmasını tavsiye ederim . $r$

Yukarıdaki metin boyunca ilgili iki sorunun cevabına bağlantılar verdim, bu da onları bu cevabın bağlamına yerleştirmenize yardımcı olmalı.

— A. Donda
kaynak

+1 Burada yaptığınız farklılıklar çok açık ve yardımsever - Yazıyı okumaktan zevk aldım.

— whuber

+1 Başka türlü çelişkili görünebilecek diğer cevapları bir araya getirmekten hoşlandım. Belki de (b) bölümünde, özellikle deneysel tasarım ya da ANOVA ile ilgili bir şeyden bahsetmek güzel olurdu (OP'nin sorusunda bahsedildiğinden beri) - cevabınız bağlamında, neden "dikdörtgenselliğin" ilginç olabileceği hemen belli değil ya da gerçekten bağımsız bir değişkenin arzu edilen özelliği.

— Silverfish

@ Silverfish, haklısın, bunu eklemeye çalışacağım.

— A. Donda

Whuber’nin hakaret edici yorumlarından farklı olmak için yalvarıyorum. Bağımsızlık tanımı korkunç: rastgele değişkenlerin ima eder gibi görünmektedir ve sahip aynı burada ile gösterilir kümülatif olasılık dağılım fonksiyonunu (CDF ya da CDF) . Ve hayır, ve , ve farklı CDF'lerini göstermez . , gerçek bir değişkenin gerçek değerli bir işlevidir ve ve , bu işlevin değerlerini ve sayılarıyla gösterir.

X

$X$

Y

$Y$

F (\cdot)

$F(\cdot)$

F (x)

$F(x)$

F (y)

$F(y)$

X

$X$

Y

$Y$

F (\cdot)

$F(\cdot)$

F (x)

$F(x)$

F (y)

$F(y)$

x

$x$

y

$y$ . Doğru ifadeler

F_{X, Y} (x, y) = F_{X} (x) F_{Y} (y) hepsi için x ve y, - \infty < x, y < \infty .

$F_{X,Y}(x,y) = F_X(x)F_Y(y)~\text{for all}~ x~\text{and}~y, -\infty < x,y < \infty.$

— Dilip Sarwate

@DilipSarwate, puh-kiralama ...

— A. Donda

İşte sezgisel görüşüm: x ve y'nin ilişkisiz / ortogonal olduğunu belirtmek, x veya y'nin değeri hakkındaki bilginin diğerinin tahminini mümkün kılmadığını söylemenin her ikisidir - x ve y birbirinden bağımsızdır - herhangi bir ilişkinin doğrusal olduğu.

Korelasyon katsayısı, x (veya y) bilgisinin ne kadar iyi y (veya x) tahmin etmemizi sağladığının bir göstergesidir. Doğrusal ilişkilerin varsayılması.

Bir düzlemde, X ekseni boyunca bir vektör, Y ekseni boyunca bileşenini değiştirmeden büyüklüğünde değişebilir - X ve Y eksenleri dik ve X boyunca vektör herhangi bir Y boyunca diktir. Bir vektörün büyüklüğünü değiştirme X boyunca değil, hem X hem de Y bileşenlerinin değişmesine neden olur. Vektör artık Y'ye dik değil.

İki değişken birbiriyle ilişkili değilse, bunlar dikeydir ve iki değişken dikey ise, birbirleriyle ilişkilendirilmezler. Korelasyon ve ortogonalite basitçe farklı olsa da, denk bağımsızlık - cebirsel ve geometrik - doğrusal bağımsızlık kavramını ifade etme yolları. Bir analoji olarak, iki değişkenli bir çift lineer denklemin grafiğini (geometrik) ve determinantları (cebirsel) kullanarak çözmeyi düşünün.

Doğrusallık varsayımına gelince - x zaman olsun, y sinüs fonksiyonu olsun. Bir süre zarfında, x ve y, her ikisi de hesaplama yapmak için normal araçlar kullanılarak hem ortogonal hem de ilişkisizdir. Bununla birlikte, x'in bilgisi, y'yi tam olarak tahmin etmemizi sağlar. Doğrusallık, korelasyon ve ortogonalitenin çok önemli bir yönüdür.

Sorunun bir parçası olmasa da, korelasyon ve ortogonalliğin nedensellik ile aynı olmadığını unutmayın. x ve y bağıntılı olabilir çünkü ikisi de üçüncü bir değişkene büyük olasılıkla gizli bir bağımlılığa sahiptir. Dondurma tüketimi yazın artıyor, insanlar yazın daha sık sahile gidiyor. İkisi birbiriyle ilişkilidir ancak ikisi de "neden" değildir. Bu noktada daha fazla bilgi için https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation adresini ziyaret edin .

— James R. Matey
kaynak

Korelasyon ve diklik farklı şeylerdir. Bunu buradan kontrol edebilirsiniz - terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf

— Yurii

İşte ilişki: Eğer X ve Y ilişkisiz ise, XE [X] YE [Y] 'ye diktir.

Bunun dışında bağımsız, daha güçlü bir ilişkisiz kavramdır, yani bağımsız, ilişkisizleşmeye yol açacaktır, (ortogonal olmayan ve (un) korelasyonlu aynı anda olabilir.

Bu dönem olasılık TA'sı oluyorum, bu yüzden Bağımsızlık, Korelasyon, Ortogonallik hakkında kısa bir video hazırlıyorum.

https://youtu.be/s5lCl3aQ_A4

Umarım yardımcı olur.

— Linan Huang
kaynak

Bu soruya cevap vermiyor.

— Michael R. Chernick,

Cevabı gözden geçirdim, bunun yardımcı olacağını umuyorum ~ @ Michael Chernick

— linan huang

@linanhuang Larx'tan insanlar?

— YHH