Neden kovaryans tahmincisinin paydası n-1 yerine n-2 olmasın?

36

(Tarafsız) varyans tahmincisi paydası olan $n-1$ olduğu gibi $n$ gözlemler ve sadece bir parametre tahmin ediliyor.

V (X) = \frac{\sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}}{n - 1}

$\mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Aynı şekilde , iki parametre tahmin edilirken neden kovaryans paydasının olması gerektiğini merak ediyorum $n-2$ ?

C o v (X, Y) = \frac{\sum_{i = 1}^{n} (X_{i} - \bar{X}) (Y_{i} - \bar{Y})}{n - 1}

$\mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}$

— MYaseen208
kaynak

15

Bunu yaparsanız, varyans için birbiriyle çelişen iki tanımınız olacaktır: biri ilk formül, diğeri

ile uygulanan ikinci formül olacaktır

Y = X

$Y=X$ .

— whuber

3

İki değişkenli / çok değişkenli bir ortalama (beklenti) 2 parametre değil birdir.

— ttnphns

14

@ Ttnphns Bu doğru değil: iki değişkenli ortalama açıkça iki parametredir çünkü onu ifade etmek için iki gerçek sayı gerektirir. (Gerçekten de, tek bir vektör parametresidir, ancak bunu söylemek sadece iki bileşene sahip olduğu gerçeğini gizler.) Bu, örneğin

2

$2$ değil

çıkarıldığı havuz varyansı t-testleri için serbestlik derecelerinde açıkça gösterilir

1

$1$ . Ne bu soru hakkında ilginç kılan, unrigorous ve potansiyel yanıltıcı biz çıkarma dair yaygın "açıklama" ne kadar belirsiz ortaya nasıl

1

$1$ den

n

$n$ bir parametre tahmin edilmiştir çünkü.

— whuber

@whuber, Bu konuda haklısın. Sadece olsaydı

(bağımsız gözlemler) hangi biz daha fazla harcama olmaz konularda df tek değişkenli olanlardan daha çok değişkenli testlerde.

n

$n$

— ttnphns

3

@whuber: Belki de "parametre" olarak sayılan şeyin duruma bağlı olduğunu gösterdiğini söyleyebilirim. Bu durumda gözlemler üzerinde $n$ varyans hesaplanır ve böylece her bir gözlem - veya toplam ortalama - ttnphns'ın söylediği gibi çok değişkenli bir ortalama olsa bile bir parametre olarak görülebilir. Bununla birlikte, örneğin bir testin doğrusal boyut kombinasyonlarını göz önüne aldığı diğer durumlarda, her bir gözlemin her bir boyutu "bir parametre" haline gelir. Bu zor bir konudur haklısın.

— amip diyor Reinstate Monica

31

Kovaryanslar olan sapmaları.

Polarizasyon kimliğinden beri

Cov (X, Y) = Var (\frac{X + Y}{2}) - Var (\frac{X - Y}{2}),

$\newcommand{\c}{\text{Cov}}\newcommand{\v}{\text{Var}} \c(X,Y) = \v\left(\frac{X+Y}{2}\right) - \v\left(\frac{X-Y}{2}\right),$

paydalar aynı olmalıdır.

— whuber
kaynak

20

Size bir sezgi vermek için özel bir durum; aşağıdakileri düşünün:

\hat{C o v} (X, X) = \hat{V} (X)

$\hat{\mathbb{Cov}}\left(X, X\right)= \hat{\mathbb{V}}\left(X\right)$

İkincisi dolayı mutlusunuz. Bessel düzeltmesi. $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Ancak değiştirilmesi ile in önceki için verir , peki şimdi boşluğu doldurmanın en iyi yolu ne olabilir? $Y$ $X$ $\hat{\mathbb{Cov}}\left(X, Y\right)$ $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

— Gümüş Balık
kaynak

1

TAMAM. Ancak OP neden "cov (X, X) ve cov (X, Y) 'nin bir mantık çizgisinde olduğunu düşünmek isteyebilir? Neden Y'yi X ile cov () yerine çeviriyorsunuz? Belki cov (X, Y) farklı bir durum mu? Buna cevap vermediniz, cevabınız (son derece vurgulu), benim izlenimime göre, :-)

— ttnphns 20:16

7

Hızlı ve kirli bir cevap ... İlk olarak düşünelim ; Beklenen değeri olan gözleminiz varsa varyansı tahmin etmek için kullanırsınız. $\text{var}(X)$ $n$ $E(X) = 0$ ${1\over n}\sum_{i=1}^n X_i^2$

Beklenen değer olan bilinmeyen, kendi dönüştürebilir içine gözlemleri alarak bilinen beklenen değerle gözlemler için . Payda olan bir formül alacaksınız - ancak bağımsız değil ve bunu gerekecek; sonunda normal formülü bulursunuz. $n$ $n-1$ $A_i = X_i - X_1$ $i = 2, \dots,n$ $n-1$ $A_i$

Şimdi kovaryans durumunda aynı fikri kullanabilirsiniz: beklenen değeri ise idi , bir olsaydı formülü. Çıkarılarak diğer tüm gözlenen değerlere elde edersiniz bilinen beklenen değerle gözlemleri ... ve formülde - bir kez daha, bu tanıtır bazı bağımlılık içine almak hesap. $(X,Y)$ $(0,0)$ ${1\over n}$ $(X_1,Y_1)$ $n-1$ ${1\over n-1}$

PS Bunu yapmanın temiz yolu, in ortonormal bir temelini seçmek , yani vektörleri öyle ki $\big\langle (1, \dots, 1)' \big\rangle^{\perp}$ $n-1$ $c_1, \dots, c_{n-1} \in \mathbb R^n$

$\sum_j c_{ij}^2 = 1$ için tüm , $i$
$\sum_j c_{ij} = 0$ tüm , $i$
$\sum_j c_{i_1j} c_{i_2j} = 0$ tüm . $i_1 \ne i_2$

Daha sonra değişkenlerini tanımlayabilirsiniz ve . bağımsız değeri beklenen , ve orijinal değişken ile aynı varyans / kovaryans sahiptir. $n-1$ $A_i = \sum_j c_{ij} X_j$ $B_i = \sum_j c_{ij} Y_j$ $(A_i,B_i)$ $(0,0)$

Mesele şu ki, bilinmeyen beklentiden kurtulmak istiyorsan, bir (ve sadece bir) gözlemi bırakman. Bu her iki durumda da aynı şekilde çalışır.

— Elvis
kaynak

6

Burada, " paydaslı p-değişken örnek kovaryans tahmin edicisinin kovaryans matrisinin tarafsız bir tahmincisi olduğuna dair bir kanıt : $\frac{1}{n-1}$

$x' = (x_1,...,x_p)$ .

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

Göstermek için: $E(S) = \frac{n-1}{n}\Sigma$

İspat: $S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

Sonraki:

(1) $E(x_ix_i') = \Sigma + \mu\mu'$

(2) $E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

Bu nedenle: $E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

Ve böylece , son payda ile tarafsızdır. köşegen dışı elemanları sizin bireysel örnek kovaryanslarınızdır. $S_u = \frac{n}{n-1}S$ $\frac{1}{n-1}$ $S_u$

Ek açıklamalar:

N çizer bağımsızdır. Bu, (2) 'de örnek ortalamanın kovaryansını hesaplamak için kullanılır.
(1) ve (2) $Cov(x)= E[xx']-\mu\mu'$
Adım (2), $Cov(\bar{x})= \frac{1}{n}\Sigma$

— statchrist
kaynak

Zorluk 2. adımda olmak! :)

— Elvis,

@Elvis Dağınık. Cov (X + Y, Z) = Cov (X, Z) + Cov (Y, Z) kuralını uygulamak ve farklı çizimlerin bağımsız olduğunu kabul etmek gerekir. O zaman temelde kovaryansı n kere özetliyor ve 1 / n²

— değerine indiriyor

4

Sanırım 'n-1' kullanmanın ardında sezgiyi oluşturmanın bir yolu ve 'n-2' değil - eş değişkenliği hesaplamak için hem X hem de Y'yi de tanımlamak zorunda değiliz;

$\ sum (X- \ mu_x) (Y - \ mu_y) = \ sum (X- \ mu_x) Y \ \ veya \ \ \ \ sum (Y- \ mu_y) X$

— Uditg_ucla
kaynak

Hangi paydayı kullanacağı sorusu üzerinde bunun nasıl bir etkisi olduğunu açıklayabilir misiniz? Kanıttaki cebirsel ilişki, ortalamaların sıfıra oranla göreceli olarak kalan kalıntılarının başka bir deyişle hangi payda ile ilgili olduğu konusunda sessiz kalmasından kaynaklanmaktadır.

— whuber

5

Buraya geldim çünkü OP ile aynı sorum vardı. Bence bu cevap, @whuber'ın işaret ettiği noktaya dayanıyor: başparmak kuralının df ~ = n - (tahmin edilen parametreler) "belirsiz, baş döndürücü ve potansiyel olarak yanıltıcı" olabileceği yönünde. Bu, iki parametre (xbar ve ybar) tahmin etmeniz gerekmesine rağmen, gerçekten sadece bir tane (xbar veya ybar) tahmin ettiğinize işaret ediyor. Df her iki durumda da aynı olması gerektiğinden, ikisinin de altı olmalıdır. Bence buradaki amaç.

— mpettis

1

1) Başlat . $df=2n$

2) Örnek kovaryansı, . İki kaybetmek ; biri dan, biri dan , sonuçlanır . $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ $df$ $\bar{X}$ $\bar{Y}$ $df=2(n-1)$

3) Bununla birlikte, sadece içeren , ayrı terimler, her ürünün bir. İki sayı bir arada çarpıldığında, her bir ayrı sayıdaki bağımsız bilgi kaybolur. $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ $n$

Bir örnek olarak, bunu göz önünde bulundurun

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$ ,

ve bu, irrasyonel ve kesirleri içermez, örneğin , böylece iki sayı serisini birlikte çarptığımızda ve ürünlerini incelediğimizde, gördüğümüz tek şey Orijinal sayıların yarısını kaybettiğimiz için bir sayı serisinden, yani, bu iki sayının çift sayı grubundan bir sayıya (yani çarpma) geçmeden önce ne olduğu idi. $24=2\sqrt{6}*2\sqrt{6}$ $df=n-1$

Başka bir deyişle, genelliği kaybetmeden yazabilir

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ , bazı ve , $z_i$ $\bar{z}$

yani, ve, . Kaynaktan sonra açıkça sahip 's, , kovaryans formül olur $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$ $\bar{z}=\bar{X}\bar{Y}$ $z$ $df=n-1$

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ .

Böylece, sorunun cevabı gruplama ile yarıya indirgenmiş olmasıdır. $df$

— Carl
kaynak

@ whuber Nasıl olur da aynı şeyi iki kez yayınlayıp bir kez sildim? Ne verir? Onlardan birinden kurtulabilir miyiz? İleride başvurmak üzere, bu tür kopyaları kalıcı olarak silmenin bir yolu var mı? Etrafta asılı birkaç tane var ve bu can sıkıcı.

— Carl

Bildiğim kadarıyla söyleyebilirim, sen buraya kopyadan cevabınızı yeniden yayınladı. (Başka hiç kimsenin sizin adınıza cevap verme yetkisi yoktur.) Sistem, birden fazla konuya aynı cevapları göndermekten kesinlikle vazgeçmez, bu yüzden bunu gördüğümde, bu iki parçanın mükemmel kopyalar olduğuna ikna oldum ve onları "birleştirdim". Bu, kaynak diziden gelen tüm yorumları ve cevapları hedef diziye taşıyan bir prosedürdür. Daha sonra buradaki çift postanızı hedef dizinde sildim. Kalıcı olarak silinmeye devam eder, ancak sizin ve yeterince yüksek üne sahip kişilerin size görüneceği bir şey olacaktır.

— whuber

@whuber Bir birleşmede ne olduğunu, bir birleşmenin gerçekleştiğini veya sürekli olarak bir şeyler aramasına rağmen kuralların çoğunun ne olduğunu bilmiyordum. Bu alarak düşünürdünüz ve ödeyecekleri olmak, hastayı öğrenmek zaman alır stats.stackexchange.com/questions/251700/... kapalı Hold?

— Carl,