Standart Sapmayı artıran değer

12

Aşağıdaki ifadeden şaşkınım:

"Bir sayı kümesinin standart sapmasını artırmak için, ortalamadan uzağa birden fazla standart sapma olan bir değer eklemelisiniz"

Bunun kanıtı nedir ? Tabii ki standart sapmayı nasıl tanımladığımızı biliyorum ama bu kısmı bir şekilde özlüyorum. Herhangi bir yorum?

standard-deviation

— JohnK
kaynak

1

İlgili cebiri bulmaya çalıştınız mı?

— Alecos Papadopoulos

Evet bende var. N değerlerinin örnek varyansını n + 1 değerlerinin varyansından çıkardım ve farkın sıfırdan büyük olmasını istedim. Yine de tam olarak anlayamıyorum.

— JohnK

3

En basit yöntemlerden biri ayırt etmek için olan Welford algoritması yeni bir değer ile ilgili olarak

x_{n}

$x_n$ ve göstermek için entegre olduğunu sokulması halinde

x_{n}

$x_n$ sonra varyans artar

(x_{n} - {\bar{x}}_{n - 1})^{2} \geq \frac{n}{n - 1} v_{n - 1}

$(x_n-\bar{x}_{n-1})^2 \ge \frac{n}{n-1}v_{n-1}$ burada

{\bar{x}}_{n - 1}

$\bar{x}_{n-1}$ ilk

n - 1

$n-1$ değerlerinin ortalaması ve

v_{n - 1}

$v_{n-1}$ bunların varyans tahminidir.

— whuber

Tamam ama bu basit bir cebirle gösterilebilir mi? İstatistik bilgim o kadar ileri değil.

— JohnK

@JohnK, teklifin kaynağını paylaşabilir misiniz?

— Pe Dro

20

İçin herhangi bir numaraları , ortalama ile $N$ $y_1,y_2, \ldots, y_N$ , varyans tarafından verilir $\displaystyle \bar{y} = \frac{1}{N}\sum_{i=1}^N y_i$ uygulamaverilen dizinumaraları , biz maruz kolaylık sağlamak için aldığı ortalama olması,

\begin{aligned} σ^{2} & = \frac{1}{N- - 1} Σ_{ben = 1}^{N-} (y_{ben} - \bar{y})^{2} \\ = \frac{1}{N- - 1} Σ_{ben = 1}^{N-} (y_{ben}^{2} - 2 y_{ben} \bar{y} + {\bar{y}}^{2}) \\ = \frac{1}{N- - 1} [(Σ_{ben = 1}^{N-} y_{ben}^{2}) - 2 N- (\bar{y})^{2} + N- (\bar{y})^{2}] \\ (1) & σ^{2} & = \frac{1}{N- - 1} Σ_{ben = 1}^{N-} (y_{ben}^{2} - (\bar{y})^{2}) \end{aligned}

$\begin{align} \sigma^2 &= \frac{1}{N-1}\sum_{i=1}^N (y_i-\bar{y})^2\\ &= \frac{1}{N-1}\sum_{i=1}^N \left(y_i^2 - 2y_i\bar{y} + \bar{y}^2\right)\\ &= \frac{1}{N-1}\left[\left(\sum_{i=1}^Ny_i^2\right) - 2N(\bar{y})^2 + N(\bar{y})^2 \right] \\ \sigma^2 &=\frac{1}{N-1}\sum_{i=1}^N \left(y_i^2 - (\bar{y})^2\right) \tag{1} \end{align}$

(1)

$(1)$

n

$n$

x_{1}, x_{2}, \dots x_{n}

$x_1, x_2, \ldots x_n$

\bar{x} = 0

$\bar{x} = 0$

Şimdibu veri kümesineyeni bir gözlem

eklersek,veri kümesinin yeni ortalaması

σ^{2} = \frac{1}{n - 1} Σ_{ben = 1}^{n} (x_{ben}^{2} - (\bar{x})^{2}) = \frac{1}{n - 1} Σ_{ben = 1}^{n} x_{ben}^{2}

$\sigma^2 = \frac{1}{n-1}\sum_{i=1}^n \left(x_i^2-(\bar{x})^2\right) = \frac{1}{n-1}\sum_{i=1}^n x_i^2$

x_{n + 1}

$x_{n+1}$

yeni varyans ise

\frac{1}{n + 1} Σ_{ben = 1}^{n + 1} x_{ben} = \frac{n \bar{x} + x_{n + 1}}{n + 1} = \frac{x_{n + 1}}{n + 1}

$\frac{1}{n+1}\sum_{i=1}^{n+1}x_i = \frac{n\bar{x} + x_{n+1}}{n+1} = \frac{x_{n+1}}{n+1}$

Yani

den daha büyük olması gerekir

\begin{aligned} {\hat{σ}}^{2} & = \frac{1}{n} Σ_{ben = 1}^{n + 1} (x_{ben}^{2} - \frac{x_{n + 1}^{2}}{(n + 1)^{2}}) \\ = \frac{1}{n} [((n - 1) σ^{2} + x_{n + 1}^{2}) - \frac{x_{n + 1}^{2}}{n + 1}] \\ = \frac{1}{n} [(n - 1) σ^{2} + \frac{n}{n + 1} x_{n + 1}^{2}] \\ > σ^{2} Yalnızca x_{n + 1}^{2} > \frac{n + 1}{n} σ^{2} . \end{aligned}

$\begin{align} \hat{\sigma}^2 &= \frac{1}{n}\sum_{i=1}^{n+1} \left(x_i^2-\frac{x_{n+1}^2}{(n+1)^2}\right)\\ &= \frac{1}{n}\left[\left((n-1)\sigma^2 + x_{n+1}^2\right) - \frac{x_{n+1}^2}{n+1}\right]\\ &= \left.\left.\frac{1}{n}\right[(n-1)\sigma^2 + \frac{n}{n+1}x_{n+1}^2\right]\\ &> \sigma^2 ~ \text{only if}~ x_{n+1}^2 > \frac{n+1}{n}\sigma^2. \end{align}$

| x_{n + 1} |

$|x_{n+1}|$

ya da, daha genel olarak,

ihtiyaçları ortalama farklı olmasına

daha özgün veri kümesinin ile

σ \sqrt{1 + \frac{1}{n}}

$\displaystyle\sigma\sqrt{1+\frac{1}{n}}$

x_{n + 1}

$x_{n+1}$

\bar{x}

$\bar{x}$

, arttırılmış veri kümesinin orijinal veri kümesinden daha büyük varyansa sahip olması için. Ayrıca bkz. Ray Koopman'ın yeni varyansın

göre orijinal varyanstan daha büyük, ona eşit veya ondan daha küçük olduğunu gösteren cevabı ortalamadan

değerinden daha fazla, tam olarak veya daha düşüktür.

σ \sqrt{1 + \frac{1}{n}}

$\displaystyle\sigma\sqrt{1+\frac{1}{n}}$

x_{n + 1}

$x_{n+1}$

.

σ \sqrt{1 + \frac{1}{n}}

$\displaystyle\sigma\sqrt{1+\frac{1}{n}}$

— Dilip Sarwate
kaynak

5

1 Nihayet birileri ... doğru alır ;-) deyimi ispat edilmesi olduğunu doğru; sadece sıkı değil. Bu arada,

yapmak için ölçüm birimlerinizi de seçebilirsiniz , bu da hesaplamayı daha da basitleştirerek yaklaşık iki satıra indirir.

σ^{2} = 1

$\sigma^2=1$

— whuber

İlk denklem setinde sigma yerine S kullanmanızı ve türev için teşekkürler. Bilmek güzeldi :)

— Theoden

3

Şaşırtıcı ifade, standart sapmanın artması için gerekli ancak yetersiz bir koşul sağlar. Eski örnek boyutu ise , eski ortalamasıdır eski standart sapma, , ve yeni bir nokta , daha sonra yeni standart sapma eşit veya daha büyük, daha az olacak verilere eklenir göre olarak küçük, eşit veya daha büyük $n$ $m$ $s$ $x$ $s$ $|x-m|$ . $s\sqrt{1+1/n}$

— Ray Koopman
kaynak

1

Elinizde bir kanıt var mı?

— JohnK

2

Cebiri bir kenara bırakmak (aynı zamanda işe yarar) bunu şu şekilde düşünün: Standart sapma varyansın kare köküdür. Varyans, ortalamadan kare uzaklıkların ortalamasıdır. Ortalamaya bundan daha yakın bir değer eklersek, varyans küçülür. Ortalamadan bundan daha uzak bir değer eklersek, büyür.

Bu, negatif olmayan değerlerin ortalama değerleri için geçerlidir. Ortalamadan daha yüksek bir değer eklerseniz, ortalama artar. Daha az bir değer eklerseniz, azalır.

— Peter Flom - Monica'yı eski durumuna döndürün
kaynak

Ben de titiz bir kanıt görmek isterim. İlkeyi anlasam da, değerin ortalamadan en az 1 sapma olması gerektiği gerçeğine şaşırıyorum. Neden tam olarak 1?

— JohnK

Neyin kafa karıştırıcı olduğunu görmüyorum. Varyans ortalamadır. Ortalamadan daha büyük bir şey eklerseniz (yani 1 saniyeden fazla) eklenir. Ama resmi deliller için bir değilim

— Peter Flom - Monica'yı eski durumuna getirin

0.2 standart sapma ile ortalamanın üzerinde olabilir. O zaman neden artmasın ki?

— JohnK

Hayır, verilerin ortalamasından daha büyük değil, kare mesafelerin ortalaması olan varyanstan daha büyük.

— Peter Flom - Monica'yı eski durumuna döndürün

4

Kafa karıştırıcıdır çünkü yeni bir değer eklemek ortalamayı değiştirir, böylece tüm artıklar değişir. Yeni değer eski ortalamadan uzak olsa bile, SD'ye katkısının diğer değerlerin kalıntılarının karelerinin toplamının azaltılmasıyla telafi edilebileceği düşünülebilir. Bu, titiz kanıtların yararlı olmasının birçok nedeninden biridir: sadece kişinin bilgisinde güvenlik sağlamakla kalmaz, aynı zamanda içgörü (ve hatta yeni bilgiler) de sağlarlar. Örneğin, kanıt SD'yi artırmak için ortalamadan bir SD'den kesinlikle daha yeni bir değer eklemeniz gerektiğini gösterecektir .

— whuber

2

Z = \frac{x - μ}{σ} .

$Z = \frac{x-\mu}{\sigma} .$

x

$x$

Z

$Z$

x

$x$

σ = \sqrt{\frac{Σ_{ben = 1}^{N-} Z_{ben}^{2}}{N- - 1}}

$\sigma = \sqrt{\frac{\sum_{i=1}^{N}Z_i^2}{N-1}}$

σ

$\sigma$

Z_{N}

$Z_N$

— wcampbell
kaynak

Karesi alındığında mutlak değeri 1'den küçük olan bir sayı da abs'de 1'den küçük olacaktır. değer. Yine de anlamadığım şey, Z_N bu kategoriye girse bile, σ'ya pozitif bir değer katıyoruz, bu yüzden artmamalı mı?

— JohnK

Z_{N + 1}

$Z_{N+1}$

1

N

$N$

σ

$\sigma$

\sum Z_{i}^{2}

$\sum Z_i^2$

Tam olarak anlatmaya çalıştığım şey!

— wcampbell

Z_{i}

$Z_i$

N - 1

$N-1$