Negatif olmayan verilerin standart sapması ortalamayı aşabilir mi?

Üçgene 3D ağlarım var. Üçgen alanların istatistikleri:

• Min. 0.000
• Maksimum 2341.141
• Ortalama 56.317
• Standart Dev 98.720

Yani, standart sapma hakkında özellikle yararlı bir şey mi ifade ediyor veya rakamlar yukarıdaki gibi çalıştığında, hesaplamada hatalar olduğunu gösteriyor mu? Alanlar normalde dağılmaktan kesinlikle uzaktır.

Ve birisinin aşağıdaki yanıtlarından birinde bahsettiği gibi, sayıların negatif olması ve dolayısıyla yasal alanın dışına çıkması için ortalamadan sadece bir SD alması beni gerçekten şaşırtan şey.

Teşekkürler

Standart sapmanın ortalamadan daha az veya daha fazla olması gerektiğini belirten hiçbir şey yoktur. Bir veri kümesi verildiğinde, ortalamayı aynı tutabilir, ancak pozitif bir sayıyı uygun şekilde ekleyerek / çıkararak standart sapmayı keyfi bir dereceye kadar değiştirebilirsiniz .

Yorumundan soruya @ whuber örnek veri kümesini kullanarak: {2, 2, 2, 202}. @Whuber tarafından belirtildiği gibi: ortalama 52 ve standart sapma 100'dür.

Şimdi, verilerin her bir elemanını şu şekilde bozun: {22, 22, 22, 142}. Ortalama hala 52'dir, ancak standart sapma 60'dır.

Tabii ki, bunlar bağımsız parametrelerdir. R (veya tercih edebileceğiniz başka bir araç) içinde basit keşifler ayarlayabilirsiniz.

R> set.seed(42)     # fix RNG
R> x <- rnorm(1000) # one thousand N(0,1)
R> mean(x)          # and mean is near zero
[1] -0.0258244
R> sd(x)            # sd is near one
[1] 1.00252
R> sd(x * 100)      # scale to std.dev of 100
[1] 100.252
R> 

Benzer şekilde, standardize ortalama çıkarılarak ve standart sapma bölerek bakıyorsun verileri.

Düzenleme Ve whuber fikri @ ardından burada dört ölçümün yaklaşabilir veri kümelerinin biri bir sonsuzluk geçerli:

R> data <- c(0, 2341.141, rep(52, 545))
R> data.frame(min=min(data), max=max(data), sd=sd(data), mean=mean(data))
  min     max      sd    mean
1   0 2341.14 97.9059 56.0898
R> 

@Andy'nin bu sonuçta neden şaşırdığından emin değilim, ama yalnız olmadığını biliyorum. Ayrıca, sd'nin ortalamadan daha yüksek olmasıyla verilerin normalliğinin ne olduğundan emin değilim. Bu durumda normal olarak dağıtılan bir veri kümesi oluşturmak oldukça basittir; gerçekten, standart normalin ortalaması 0, sd 1'dir. Tüm pozitif değerlerin normal olarak dağılmış bir veri setini sd> mean ile elde etmek zor olurdu; gerçekten, bu mümkün olmamalı (ancak örnek büyüklüğüne ve kullandığınız normallik testine bağlıdır ... çok küçük bir örnekle, garip şeyler olur)

Bununla birlikte, @Andy'nin yaptığı gibi normallik koşulunu kaldırdığınızda, sd'nin tüm pozitif değerler için bile ortalamadan daha büyük veya daha küçük olması için bir neden yoktur. Bunu tek bir aykırı değer yapacak. Örneğin

x <- runif (100, 1, 200) x <- c (x, 2000)

ortalama 113 ve sd 198 verir (tabii ki tohuma bağlı olarak).

Ama daha büyük bir soru bunun neden insanları şaşırttığı.

İstatistik öğretmiyorum, ama istatistiklerin nasıl öğretildiğini merak ediyorum, bu görüşü yaygınlaştırıyor.

Sadece bir genel noktası ekleyerek, bir hesap açısından, ve ∫ x 2 f ( x ), d x ile ilgili Jensen eşitsizliğinin iki integraller, mevcut varsayarak ∫ x 2 f ( x ) D X ≥ { ∫ x f ( x ) d x }

$$\int x f(x) \text{d}x$$ $$\int x^2 f(x) \text{d}x$$ Bu genel eşitsizlik göz önüne alındığında, hiçbir şey varyansın keyfi olarak büyümesini engellemez. Ν serbestlik derecesi, X ∼ T ( ν , μ , σ ) ileöğrencinin t dağılımınatanık olun ve Y = | X | ikinci anı X'in ikinci anı ile aynı olan, E [ | X | 2 ] = $$\int x^2 f(x) \text{d}x \ge \left\{ \int x f(x) \text{d}x \right\}^2\,.$$ $\nu$ $$X \sim \mathfrak{T}(\nu,\mu,\sigma)$$ $Y=|X|$$X$ν>2 olduğunda. Bu nedenle,ν2'yedüştüğündesonsuzagider,Y'ninortalamasıν>1olduğu sürece sonlu kalır. $$\mathbb{E}[|X|^2] = \frac{\nu}{\nu-2}\sigma^2 + \mu^2,$$ $\nu>2$$\nu$$2$$Y$$\nu>1$

Belki de OP ortalama 1 SD'nin negatif bir sayı olduğuna şaşırır (özellikle minimum 0 olduğunda).

İşte açıklığa kavuşturabilecek iki örnek.

Farz edelim ki 18 birinci sınıf öğrencisi olan 18 birinci sınıf, 1 5 ve 1 7 sınıftan oluşan bir sınıfınız var. Şimdi 49 yaşındaki öğretmene ekleyin. Ortalama yaş 8.0, standart sapma 9.402'dir.

Düşünüyor olabilirsiniz: Bu sınıf için bir standart sapma aralığı -1.402 ila 17.402 yıl arasında değişmektedir. SD'nin mantıksız gibi görünen negatif bir yaş içerdiğine şaşırabilirsiniz.

Negatif yaş konusunda endişelenmenize gerek yok (veya minimum 0.0'dan daha az uzanan 3D grafikler). Sezgisel olarak, hala ortalamanın 1 SD'sinde verilerin yaklaşık üçte ikisine sahipsiniz. (Aslında ortalama 2 SD içindeki verilerin% 95'ine sahipsiniz.)

Veriler normal olmayan bir dağılım aldığında, bunun gibi şaşırtıcı sonuçlar görürsünüz.

İkinci örnek. Nassim Taleb Rastgele Kandırılan adlı kitabında, inifinte uzunluğundaki bir duvara ateş eden gözleri bağlı bir okçunun düşünce denemesini hazırladı. Okçu +90 derece ile -90 derece arasında çekim yapabilir.

Arada bir, okçu oku duvara paralel olarak vurur ve asla vurmaz. Sayıların dağılımı olarak okun hedefi ne kadar özlediğini düşünün. Bu senaryo için standart sapma inifinte olacaktır.

Bir gama rastgele değişkenin $X$ yoğunluk ile

$$f_X(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} I_{(0,\infty)}(x) \, ,$$ ile $\alpha,\beta>0$, neredeyse kesinlikle olumlu. Herhangi bir ortalama seçin$m>0$ ve herhangi bir standart sapma $s>0$. Olumlu oldukları sürece,$m>s$ veya $m<s$. koymak$\alpha=m^2/s^2$ ve $\beta=m/s^2$, ortalama ve standart sapması $X$ Hangi $\mathbb{E}[X]=\alpha/\beta=m$ ve $\sqrt{\mathbb{Var}[X]}=\sqrt{\alpha/\beta^2}=s$. With a big enough sample from the distribution of $X$, by the SLLN, the sample mean and sample standard deviation will be close to $m$ and $s$. You can play with R to get a feeling about this. Here are examples with $m>s$ and $m<s$.

> m <- 10
> s <- 1
> x <- rgamma(10000, shape = m^2/s^2, rate = m/s^2)
> mean(x)
[1] 10.01113
> sd(x)
[1] 1.002632

> m <- 1
> s <- 10
> x <- rgamma(10000, shape = m^2/s^2, rate = m/s^2)
> mean(x)
[1] 1.050675
> sd(x)
[1] 10.1139

As pointed out in the other answers, the mean $\bar{x}$ and standard deviation $\sigma_x$ are essentially unrelated in that it is not necessary for the standard deviation to be smaller than the mean. However, if the data are nonnegative, taking on values in $[0,c]$, say, then, for large data sets (where the distinction between dividing by $n$ or by $n-1$ does not matter very much), the following inequality holds:

$$\sigma_x \leq \sqrt{\bar{x}(c-\bar{x})} \leq \frac{c}{2}$$ and so if $\bar{x} > c/2$, we can be sure that $\sigma_x$ will be smaller. Indeed, since $\sigma_x = c/2$ only for an extremal distribution (half the data have value $0$ and the other half value $c$), $\sigma_x < \bar{x}$ can hold in some cases when $\bar{x} < c/2$ as well. If the data are measurements of some physical quantity that is nonnegative (e.g. area) and have an empirical distribution that is a good fit to a normal distribution, then $\sigma_x$ will be considerably smaller than $\min\{\bar{x}, c - \bar{x}\}$ since the fitted normal distribution should assign negligibly small probability to the events $\{X < 0\}$ and $\{X > c\}$.

What you seem to have in mind implicitly is a prediction interval that would bound the occurrence of new observations. The catch is: you must postulate a statistical distribution compliant with the fact that your observations (triangle areas) must remain non-negative. Normal won't help, but log-normal might be just fine. In practical terms, take the log of observed areas, calculate the mean and standard deviation, form a prediction interval using the normal distribution, and finally evaluate the exponential for the lower and upper limits -- the transformed prediction interval won't be symmetric around the mean, and is guaranteed to not go below zero. This is what I think the OP actually had in mind.

Felipe Nievinski points to a real issue here. It makes no sense to talk in normal distribution terms when the distribution is clearly not a normal distribution. All-positive values with a relatively small mean and relatively large standard deviation cannot have a normal distribution. So, the task is to figure out what sort of distribution fits the situation. The original post suggests that a normal distribution (or some such) was clearly in mind. Otherwise negative numbers would not come up. Log normal, Rayleigh, Weibull come to mind ... I don't know but wonder what might be best in a case like this?