Veri kümesindeki değişiklikten sonra eski standart sapmayı kullanarak yeni standart sapmanın hesaplanması

Ortalama ve standart sapma olan gerçek değerler dizim var . dizisinin bir elemanı başka bir elemanı ile değiştirilirse , yeni ortalama $n$ $\mu_{old}$ $\sigma_{old}$ $x_i$ $x_j$

$\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n}$

Bu yaklaşımın avantajı, değerine bakılmaksızın sürekli hesaplama gerektirmesidir . Hesaplamak için bir yaklaşım, var kullanılarak hesaplama gibi kullanılarak ? $n$ $\sigma_{new}$ $\sigma_{old}$ $\mu_{new}$ $\mu_{old}$

standard-deviation online

— kullanıcı
kaynak

Bu ödev mi? Matematiksel istatistik

— dersimizde

@ user946850: Hayır, ödev değil. Tezimi Evrimsel Algoritma üzerine yürütüyorum . Nüfus çeşitliliğinin bir ölçüsü olarak standart sapmayı kullanmak istiyorum. Sadece daha verimli bir çözüm arıyor.

— kullanıcı

SD, varyansın kare köküdür, bu sadece ortalama kare değerdir (nasıl güncelleneceğini zaten bildiğiniz kare ortalamanın katı ile ayarlanır). Bu nedenle, çalışan bir ortalamayı hesaplamak için kullanılan aynı yöntemler , çalışan bir varyansı hesaplamak için herhangi bir temel değişiklik yapılmadan uygulanabilir. Aslında, çok daha karmaşık istatistikler çevrimiçi olarak aynı fikirler kullanılarak hesaplanabilir: örneğin, stats.stackexchange.com/questions/6920 ve stats.stackexchange.com/questions/23481 adresindeki konulara bakın .

— whuber

@whuber: Bu, Varyans için Wikipedia makalesinde , aynı zamanda meydana gelebilecek felaket iptali (veya önem kaybı) üzerine bir notla belirtilmiştir. Bu abartılı mı yoksa devam eden varyans için gerçek bir problem mi?

— krlmlr

Bu harika bir soru. Varyansları daha önce ortalamaksızın saf bir şekilde biriktirirseniz, gerçekten başınız belaya girebilir. Sorun, sayılar çok büyük ancak varyansları küçük olduğunda ortaya çıkar. Örneğin, 299792458.145, 299792457.883, 299792457.998, ... gibi, s / m ışık hızının doğru ölçümleri bir dizi göz önünde bulundurun: yaklaşık 0.01 değişkenliklerine, yaklaşık onların kareler kıyasla çok küçük olduğu

, dikkatsiz hesaplama (çift kesinlikte bile) sıfır varyansla sonuçlanacaktır: tüm önemli basamaklar kaybolacaktır.

10^{17}

$10^{17}$

— whuber

Yanıtlar:

Wikipedia makalesinde "Varyans hesaplama algoritmaları" başlıklı bir bölüm , gözlemlerinize öğeler eklenirse varyansın nasıl hesaplanacağını gösterir. (Standart sapmanın varyansın karekökü olduğunu unutmayın.) Dizinize eklediğinizi varsayalım , ardından $x_{n+1}$

σ_{n e w}^{2} = σ_{o l d}^{2} + (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \sigma_{old}^2 + (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$

DÜZENLEME : Yukarıdaki formül yanlış görünüyor, açıklamaya bakın.

Şimdi, bir öğeyi değiştirmek, gözlem eklemek ve başka bir öğeyi kaldırmak anlamına gelir; her ikisi de yukarıdaki formülle hesaplanabilir. Ancak, sayısal kararlılık sorunlarının ortaya çıkabileceğini unutmayın; alıntılanan ürün aynı zamanda sayısal olarak kararlı varyantlar da önermektedir.

Formülü kendiniz türetmek için , örnek varyans tanımını kullanarak değerini hesaplayın ve uygun olduğunda verdiğiniz formülle yerine . Bu verir , böylece bir formül sonunda ve verilen ve $(n-1)(\sigma_{new}^2 - \sigma_{old}^2)$ $\mu_{new}$ $\sigma_{new}^2 - \sigma_{old}^2$ $\sigma_{new}$ $\sigma_{old}$ . Benim gösterimde, sana eleman yerine varsayalım tarafından : $\mu_{old}$ $x_n$ $x_n'$

\begin{array}{rcl} σ^{2} & = & (n - 1)^{- 1} \sum_{k} (x_{k} - μ)^{2} \\ (n - 1) (σ_{n e w}^{2} - σ_{o l d}^{2}) & = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{n e w})^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{n e w})^{2} - (x_{n} - μ_{o l d})^{2}) \\ = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{n} - μ_{o l d})^{2}) \end{array}

$\begin{eqnarray*} \sigma^2 &=& (n-1)^{-1} \sum_k (x_k - \mu)^2 \\ (n-1)(\sigma_{new}^2 - \sigma_{old}^2) &=& \sum_{k=1}^{n-1} ((x_k - \mu_{new})^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{new})^2 - (x_n - \mu_{old})^2) \\ &=& \sum_{k=1}^{n-1} ((x_k - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_n - \mu_{old})^2) \\ \end{eqnarray*}\\$

Toplamdaki , bağımlı bir şeye dönüşür , ancak düzgün bir sonuç elde etmek için denklemi biraz daha çalıştırmanız gerekir. Bu size genel bir fikir vermelidir. $x_k$ $\mu_{old}$

— krlmlr
kaynak

Verdiğiniz ilk formül doğru görünmüyor, yani

hem yeni hem de eski ortalamadan daha küçük / büyükse, varyans her zaman artar, bu da mantıklı değildir. Dağılımına bağlı olarak artabilir veya azalabilir.

x_{n + 1}

$x_{n+1}$

— Emmet B

@EmmetB: Evet, haklısın - bu muhtemelen

Ne yazık ki, bu tüm tartışmamı oradan geçersiz kılıyor, ancak tarihi amaçlar için bırakıyorum. Yine de düzenlemekten çekinmeyin.

σ_{n e w}^{2} = \frac{n - 1}{n} σ_{o l d}^{2} + \frac{1}{n} (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \frac{n-1}{n} \sigma_{old}^2 + \frac{1}{n} (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$

— krlmlr

Bağlantılı Wikipedia makalesinde okuduğumu düşündüğüm göre, "çalışan" bir standart sapmayı koruyabilirsiniz:

real sum = 0;
int count = 0;
real S = 0;
real variance = 0;

real GetRunningStandardDeviation(ref sum, ref count, ref S, x)
{
   real oldMean;

   if (count >= 1)
   {
       real oldMean = sum / count;
       sum = sum + x;
       count = count + 1;
       real newMean = sum / count;

       S = S + (x-oldMean)*(x-newMean)
   }
   else
   {
       sum = x;
       count = 1;
       S = 0;         
   }

   //estimated Variance = (S / (k-1) )
   //estimated Standard Deviation = sqrt(variance)
   if (count > 1)
      return sqrt(S / (count-1) );
   else
      return 0;
}

Makalesinde ayrı bir çalışan korumak olmasa da sumve count, bunun yerine tek sahip mean. Bugün yaptığım şeyde count(istatistiksel amaçlar için) sakladığım için, her seferinde ortalamaları hesaplamak daha yararlıdır.

— Ian Boyd
kaynak

$\bar x$ $s$ $n$ $x_n$ $x_n'$ $s'$

s^{2} + \frac{1}{n - 1} (2 n Δ \bar{x} (x_{n} - \bar{x}) + n (n - 1) (Δ \bar{x})^{2}),

$s^2 + \frac{1}{n-1}\left(2n\Delta \bar x(x_n-\bar x) +n(n-1)(\Delta \bar x)^2\right),$

Δ \bar{x} = {\bar{x}}^{'} - \bar{x}

$\Delta \bar x = \bar x' - \bar x$

{\bar{x}}^{'}

$\bar x'$

Belki de yazmanın daha çarpıcı bir yolu var mı?

Bunu küçük bir test senaryosuna karşı kontrol ettim ve işe yaramış gibiydi.

— Karanlıkta Islık
kaynak

@john / Karanlıkta ıslık: Cevabınızı beğendim, küçük veri setimde düzgün çalışıyor gibi görünüyor. Üzerinde matematiksel bir temel / referans var mı? Nazikçe yardım eder misiniz?

— Alok Chowdhury

Soru tüm @ Karanlıkta ıslık, sadece site için temizledim. Buradaki soru ve yanıtı referans alan yeni bir soru sormalısınız. Ayrıca bu şekilde hissediyorsanız bu cevabı iptal etmelisiniz.

— John