ve , in bağımsızlığının ardındaki sezgi nedir ?

18

Birisinin , standart normal dağılıma sahip olan ve , rasgele değişkenlerinin neden bağımsız olduğunu açıklayan bir argüman önerebileceğini umuyordum . Bu gerçeğin kanıtı MGF tekniğinden kolayca geliyor, ancak bunu son derece sezgisel buluyorum. $Y_1=X_2-X_1$ $Y_2=X_1+X_2$ $X_i$

Bu yüzden eğer varsa sezgiyi takdir ediyorum.

Şimdiden teşekkür ederim.

EDIT : Abonelikler Sipariş İstatistiklerini değil, standart normal dağılımdan gelen IID gözlemlerini gösterir.

probability self-study mathematical-statistics

— JohnK
kaynak

"MGF tekniği" nedir?

— amip diyor Reinstate Monica

@amoeba Rastgele bir değişkenin dağılımını belirlemek için moment üreten fonksiyonların kullanılmasıdır. Benim durumda, bu teoremi bakınız

Y_{1}

$Y_1$ ve

Y_{2}

$Y_2$ , bağımsız olarak, ancak ve ancak

M (t_{1}, t_{2}) = M (t_{1}, 0) \times M (0, t_{2})

$M(t_1,t_2)=M(t_1,0) \times M(0,t_2)$ ,

M (t_{1}, t_{2})

$M(t_1,t_2)$ eşit

E (e^{t_{1} Y_{1} + t_{2} Y_{2}})

$E(e^{t_1Y_1+t_2Y_2})$ . Başka bir teknik seçin ve aynı sonuca varacağınızdan eminim.

— JohnK

1

Stats.stackexchange.com/questions/71260 adresinde yakından alakalı ileti dizisinde bazı bilgiler bulabilirsiniz .

— whuber

Her

μ

$\mu$ gibi sabit bir miktar eklerseniz bunların her birine ne olacağını düşünerek biraz sezgi alabilirsiniz . Ve her

bir sabitle çarparsanız ne olur , diyelim ki

X

$X$

X

$X$

σ

$\sigma$

— rvl

1

Yakından ilişkili: Yüksek korelasyonlu değişkenlerin toplamı ve farkı için neredeyse korelasyonu olmayan referans .

— gung - Monica'yı eski

22

Bu standart normal dağıtılmış verilerdir: ilk koordinat sisteminde dağılım grafiği Dağılımın dairesel simetrik olduğuna dikkat edin.

ve geçtiğinizde , ekseni etkili bir şekilde döndürür ve ölçeklendirirsiniz: Bu yeni koordinat sistemi orijinaliyle aynı kökene sahiptir ve eksen dikey. Dairesel simetri nedeniyle, değişkenler yeni koordinat sisteminde hala bağımsızdır. $Y_1 = X_2 - X_1$ $Y_2 = X_1 + X_2$ döndürülmüş koordinat sistemli dağılım grafiği

— dobiwan
kaynak

4

Sonuç dahi geçerlidir

ve

birim normal kenar ile ilişkilidir. Dolayısıyla açıklamanız yalnızca orijinal sonucun bir alt harfini kapsar. Ancak, buradaki temel fikir sağlamdır.

X_{1}

$X_1$

X_{2}

$X_2$

— Glen_b -Monica Monica

1

@ Glen_b, evet, haklısın. JohnK genel davayı nasıl kanıtlayacağını zaten biliyor gibi göründüğü için basit bir davaya odaklanmak istedim, ancak sezgisel bir anlayıştan yoksun.

— dobiwan

7

İçin sonuç işleri ortaklaşa normale (yani korelasyon ile ), ortak ile . $(X_1,X_2)$ $-1<\rho<1$ $\sigma$

Birkaç temel sonuç biliyorsanız, ihtiyacınız olan her şey budur:

$\quad\quad\quad$ enter image description here

dobiwan'ın yaklaşımı aslında iyidir - sonuç sadece orada ele alınan durumdan daha geneldir.

— Glen_b-Monica'yı eski durumuna döndür
kaynak

3

+1, istenen sonucu temel bilgilere indirgemek için. Eşit olmayan varyanslarla daha genel bir ortak normallik durumu için, eksenlerin

dönmesini ekleyeceğim.

yerine

θ = \frac{1}{2} \arctan (\frac{2 ρ \cdot σ_{1} σ_{2}}{σ_{1}^{2} - σ_{2}^{2}})

$\theta = \frac{1}{2}\arctan\left ( \frac{2\rho\cdot\sigma_1\sigma_2}{\sigma_1^2 - \sigma_2^2}\right )$

örtülü olarak

bağımsız normal rastgele değişkenler üretir.

\pm \frac{π}{4}

$\pm \frac{\pi}{4}$

(X_{1}, X_{2}) \to (X_{1} + X_{2} . X_{1} - X_{2})

$(X_1,X_2) \to (X_1+X_2. X_1-X_2)$

— Dilip Sarwate

6

Ne zaman gerçek olduğunu iddia sonucu genel olarak bile durum için doğru değildir hepsi bilinmektedir ki olmasıdır ve özdeş varyans ile normal rasgele değişkenler, ancak sonuç yok için beklemeye olağan durumun yorumlanması daha sonra açıkladınız: $X_1$ $X_2$

Aboneler Sipariş İstatistiklerini değil, standart normal dağıtımdan gözlemleri gösterir.

Bu açıklamada son birkaç kelimeye olağan yorumlanması olduğunu, tabii ki ve olan bağımsız (normal) rastgele değişkenler ve dolayısıyla ortaklaşa normal rasgele değişkenler. $X_1$ $X_2$

İçin ortak Normal özdeş varyans ile rastgele değişkenler, doğrudur ve olan bağımsız (genel, eşit olmayan sapmalar ile,) (normal) rastgele değişkenler, ve bunun için sezgisel açıklama uygulanması tercih edilir Glen_b'in cevabında. İçin senin özel durumunda ve sıra varlık bağımsız, Kabul ettiğiniz dobiwan cevabı, basit olanıdır ve aslında ortaya koymaktadır herhangi sadece tarafından eksenlerin dönmesi, $X_1+X_2$ $X_1-X_2$ $X_1$ $X_2$ dönüşümü örtük, bağımsız rastgele değişken verecektir. $\pm \frac{\pi}{4}$ $(X_1,X_2)\to (X_1+X_2, X_1-X_2)$

Genel olarak ne söylenebilir? Aşağıda söylediğim her şeyde, diğer özelliklerin kendilerine atfedilebileceği ne olursa olsun, ve aynı varyansa sahip olduğunu lütfen unutmayın . $X$ $Y$

Eğer ve olan bir rastgele değişken (not: mutlaka normal değil) ile aynı varyans, daha sonra ve olan ilintisiz rastgele değişkenler (olduğunu, bunlar sıfır kovaryans vardır). Bunun nedeni kovaryans fonksiyonunun bilinear olmasıdır : $X$ $Y$ $X+Y$ $X-Y$ Buradain(ve benzer şekildeiçinvaryansolduğuve elbette . Bu sonucun,ve(marjinal olarak) normal rastgele değişkenler olduğu ancak zorunlu olarakmüşterekenolmadığı durumlarda geçerli olduğunu unutmayın

\begin{aligned} cov (X + Y, X - Y) & = cov (X, X) - cov (X, Y) + cov (Y, X) - cov (Y, Y) \\ = var (X) - cov (X, Y) + cov (X, Y) - var (Y) \\ = 0. \end{aligned}

$\begin{align} \operatorname{cov}(X+Y, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) + \operatorname{cov}(Y,X) - \operatorname{cov}(Y,Y)\\ &= \operatorname{var}(X) - \operatorname{cov}(X,Y) + \operatorname{cov}(X,Y) - \operatorname{var}(Y)\\ &= 0. \end{align}$

cov (X, X)

$\operatorname{cov}(X,X)$

var (X)

$\operatorname{var}(X)$

X

$X$

Y

$Y$

cov (Y, X) = cov (X, Y)

$\operatorname{cov}(Y,X) = \operatorname{cov}(X,Y)$

X

$X$

Y

$Y$ normal rasgele değişkenler. (Bu marjinal normallik fikrinin ortak normallikle aynı olmadığı bilgisine sahip değilseniz, bu büyük cevaba kardinal olarak bakın). Özel durumda,

ve

olan ortak normal normal (ama zorunlu olarak bağımsız olan) rastgele değişkenler, yani olan

ve

birlikte, normal ve kovaryans olduğu

,

ve

rastgele bağımsız değişkenler.

X

$X$

Y

$Y$

X + Y

$X+Y$

X - Y

$X-Y$

0

$0$

X + Y

$X+Y$

X - Y

$X-Y$

— Dilip Sarwate
kaynak

2

$X_1,X_2$ $Y_1$ $Y_2$ $0$ $Y_1,Y_2$

Koşullu ortalama

$X_1+X_2=y$ $X_1=x, X_2 = y-x$ $X_1 = y-x, X_2=x$

$X_1$ $X_2$ $X_1+X_2$ is symmetric with respect to the indexing. Thus, for symmetry reasons, the conditional distribution $X_1 \mid Y_2 = y$ must be equal to the conditional distribution $X_2 \mid Y_2 = y$ . Hence, the conditional distributions also have the same mean, and

E (Y_{1} ∣ Y_{2} = y) = E (X_{1} - X_{2} ∣ X_{1} + X_{2} = y) = E (X_{1} ∣ X_{1} + X_{2} = y) - E (X_{2} ∣ X_{1} + X_{2} = y) = 0.

$\begin{equation} \mathbb{E}(Y_1 \mid Y_2 = y) = \mathbb{E}(X_1 - X_2 \mid X_1+X_2 = y) \\ = \mathbb{E}(X_1 \mid X_1+X_2 = y) - \mathbb{E}(X_2 \mid X_1+X_2 = y)= 0. \end{equation}$

(Caveat: I did not consider the possibility that the conditional mean might not exist.)

Constant conditional mean implies zero correlation/covariance

Intuition: correlation measures how much $Y_1$ tends to increase when $Y_2$ increases. If observing $Y_2$ never changes our mean of $Y_1$ , $Y_1$ and $Y_2$ are uncorrelated.

Proof: By definition, covariance is

C o v (Y_{1}, Y_{2}) = E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2}))]

$\begin{equation} Cov(Y_1,Y_2) = \mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right)\right] \end{equation}$ to this expectation, we apply the law of iterated expectations: take the expectation of the conditional expectation conditional on

Y_{2}

$Y_2$ :

= E [E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2})) ∣ Y_{2}]] = E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1}) ∣ Y_{2}]] .

$\begin{equation} = \mathbb{E}\left[\mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right) \mid Y_2\right]\right] = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1 - \mathbb{E}(Y_1) \mid Y_2\right] \right]. \end{equation}$ Recall that the conditional mean was shown to be independent of

Y_{2}

$Y_2$ and thus the expression simplifies as

= E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1})]]

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1-\mathbb{E}(Y_1)\right]\right] \end{equation}$ but the inner expectation is

0

$0$ and we get

= E [(Y_{2} - E (Y_{2})) \times 0] = 0.

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\times0\right] = 0. \end{equation}$

Independence

Just by assuming identical distributions for $X_1,X_2$ , it was shown that $Y_1$ and $Y_2$ are uncorrelated. When $X_1,X_2$ are jointly normal (for example, iid. normal as in the question), their linear combinations $Y_1,Y_2$ are also jointly normal and thus uncorrelatedness implies independence.

— Juho Kokkala
kaynak