Örnek standart sapma neden

57

Vikipedi sapma tahmini standart sapma hakkındaki makaleye göre örnek SD

s = \sqrt{\frac{1}{n - 1} Σ_{ben = 1}^{n} (x_{ben} - \bar{x})^{2}}

$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2}$

nüfusun SD'sinin önyargılı bir tahmincisidir. Bu olduğunu belirtir. . $E(\sqrt{s^2}) \neq \sqrt{E(s^2)}$

NB. Rastgele değişkenler bağımsızdır ve her biri $x_{i} \sim N(\mu,\sigma^{2})$

Sorum iki katlıdır:

Önyargının kanıtı nedir?
Bir örnek standart sapma beklentisini nasıl hesaplar?

Matematik / istatistik bilgim sadece orta düzeydedir.

estimation standard-deviation

— Dav Weps
kaynak

4

Her iki sorunun da, Chi dağılımı ile ilgili Wikipedia makalesinde cevaplandırıldığını göreceksiniz .

— whuber

57

@ NRH'nin bu soruya cevabı, örnek standart sapmanın yanlılığının güzel ve basit bir kanıtını verir. Burada, standart sapmanın (orijinal posterin ikinci sorusu) standart sapma beklentisini açıkça hesaplayacağım, bu noktada önyargı açıktır.

Noktaları bir dizi tarafsız örnek varyans olduğu $x_1, ..., x_n$

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^{2} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2$

Eğer s', normal olarak dağıtıldığı, bir gerçektir ki $x_i$

\frac{(n - 1) s^{2}}{σ^{2}} ~ χ_{n - 1}^{2}

$\frac{(n-1)s^2}{\sigma^2} \sim \chi^{2}_{n-1}$

nerede gerçek varyansıdır. dağılımı olasılığı yoğunluğu $\sigma^2$ $\chi^2_{k}$

p (x) = \frac{(1 / 2)^{k / 2}}{Γ (k / 2)} x^{k / 2 - 1} e^{- x / 2}

$p(x) = \frac{(1/2)^{k/2}}{\Gamma(k/2)} x^{k/2 - 1}e^{-x/2}$

bunu kullanarak beklenen değerini türetebiliriz ; $s$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} E (\sqrt{\frac{s^{2} (n - 1)}{σ^{2}}}) \\ = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \sqrt{x} \frac{(1 / 2)^{(n - 1) / 2}}{Γ ((n - 1) / 2)} x^{((n - 1) / 2) - 1} e^{- x / 2} d x \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} E \left( \sqrt{\frac{s^2(n-1)}{\sigma^2}} \right) \\ &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \sqrt{x} \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)} x^{((n-1)/2) - 1}e^{-x/2} \ dx \end{align}$

Bu beklenen değer ve aslında tanımından olan aşağıdaki bir kare köküdürdağıtılan değişken. Hile şimdi integrali alınan başka olması için şartları yeniden düzenlemek içinyoğunluk: $\sqrt{\frac{s^2(n-1)}{\sigma^2}}$ $\chi^2$ $\chi^2$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (\frac{n - 1}{2})} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \cdot \frac{(1 / 2)^{(n - 1) / 2}}{(1 / 2)^{n / 2}} \underset{χ_{n}^{2} d e n s ben t y}{\underset{⏟}{\int_{0}^{\infty} \frac{(1 / 2)^{n / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x}} \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(\frac{n-1}{2})} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \cdot \frac{ (1/2)^{(n-1)/2} }{ (1/2)^{n/2} } \underbrace{ \int_{0}^{\infty} \frac{(1/2)^{n/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx}_{\chi^2_n \ {\rm density} } \end{align}$

Şimdi integrali biliyoruz ve son satır 1'e eşit, çünkü yoğunluk. Bir bit sabitleri basitleştirerek verir $\chi^2_{n}$

E (s) = σ \cdot \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}

$E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

Dolayısıyla nin önyargısı $s$

σ - E (s) = σ (1 - \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}) ~ \frac{σ}{4 n}

$\sigma - E(s) = \sigma \bigg(1 - \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \bigg) \sim \frac{\sigma}{4 n} \>$ olarak

.

n \to \infty

$n \to \infty$

Herhangi bir sonlu için bu yanlılığın 0 olmadığını görmek zor değildir , bu nedenle örnek standart sapmanın yanlı olduğunu kanıtlar. Önyargı Aşağıda bir fonksiyonu olarak komplodur için ile birlikte kırmızı mavi: $n$ $n$ $\sigma=1$ $1/4n$

görüntü tanımını buraya girin

— Makro
kaynak

(4 n)^{- 1}

$(4n)^{-1}$

Bu Makroyu yapmak için gerçekten çok fazla acı çektin. Gönderiyi bir dakika önce ilk gördüğümde, Jensen'in kurallarını kullanarak önyargıyı göstermeyi düşünüyordum ama birisi zaten yaptı.

— Michael Chernick

2

Elbette bu, standart sapmanın önyargılı olduğunu göstermenin en önemli yoludur - Ben esas olarak orijinal posterin ikinci sorusuna cevap veriyordum: "Bir kişi standart sapmanın beklentisini nasıl hesaplar?".

— Makro

2

s

$s$

σ^{k}

$\sigma^k$

2

s^{k}

$s^k$

k

$k$

43

s^{2} = \frac{1}{n - 1} Σ_{ben = 1}^{n} (x_{ben} - \bar{x})^{2}

$s^2 = \frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})^2$

σ^{2}

$\sigma^2$

E (\sqrt{s^{2}}) < \sqrt{E (s^{2})} = σ

$E(\sqrt{s^2}) < \sqrt{E(s^2)} = \sigma$

s^{2}

$s^2$

σ^{2}

$\sigma^2$

— NRH
kaynak

18

S_{n} = \sqrt{Σ_{ben = 1}^{n} \frac{(X_{ben} - {\bar{X}}_{n})^{2}}{n - 1}},

$S_n = \sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X}_n)^2}{n-1}} ,$

S_{n}

$S_n$

V a r [S_{n}] \neq 0

$\mathrm{Var}[S_n]\ne0$

0 < V bir r [S_{n}] = E [S_{n}^{2}] - E^{2} [S_{n}] \Leftrightarrow E^{2} [S_{n}] < E [S_{n}^{2}] \Leftrightarrow E [S_{n}] < \sqrt{E [S_{n}^{2}]} = σ .

$0 < \mathrm{Var}[S_n] = \mathrm{E}[S_n^2] - \mathrm{E}^2[S_n] \;\;\Leftrightarrow\;\; \mathrm{E}^2[S_n] < \mathrm{E}[S_n^2] \;\;\Leftrightarrow\;\; \mathrm{E}[S_n] < \sqrt{\mathrm{E}[S_n^2]} =\sigma.$

— Zen
kaynak