Standart sapma hesaplanırken

Eğer kare hatasının toplamı bölmek neden sınıfta bugün istendi yerine ile$n-1$$n$ , standart sapmasını hesaplamak.

Sınıfta cevap vermeyeceğimi söyledim (tarafsız tahmin edicilere gitmek istemediğimden beri), ancak daha sonra merak ettim - bunun için sezgisel bir açıklaması var mı ?!

Bir bölen hesaplanan standart sapması numunenin alındığı nüfusun standart sapma bir tahmini olarak örnek hesaplanan bir standart sapmadır. Gözlenen değerler ortalama olarak, popülasyon ortalamasına göre örnek ortalamasına yaklaştığından, numune ortalamasından sapmalar kullanılarak hesaplanan standart sapma popülasyonun istenen standart sapmasını hafife alır. N kullanarak$n-1$ yerine$n-1$$n$ bölen olarak sonuç verme biraz daha büyük uygulayarak bunun düzeltir.

Düzeltme, büyük olduğu zamanki kadar küçük olduğunda daha büyük bir orantılı etkiye sahip olduğuna dikkat edin , bu bizim istediğimiz şeydir çünkü n'nin daha büyük olması durumunda, örnek ortalamanın popülasyon ortalamasının iyi bir tahmincisi olması muhtemeldir.$n$

Numune bütün nüfus olduğunda biz standart sapma kullanmak örnek demek çünkü bölen olarak ise nüfus demek.$n$

(Ben parantez içinde "bilinen, kesin bir ortalama etrafında ikinci bir an" ile başlayan hiçbir şeyin "sorgunun sezgisel bir açıklama talebini yerine getirmeyeceğini" not ediyorum.)

Yaygın olanı, varyans tanımının (bir dağılımın) bilinen, kesin bir ortalama etrafında sabitlenen ikinci an olduğu, tahmin edicinin tahmini bir ortalama kullandığıdır . Bu bir serbestlik derecesi kaybı (ortalama verildiğinde veri kümesini veri değerlerini sadece bilgisiyle yeniden oluşturabilirsiniz ) sonucu "ayarlamak" için n yerine n - 1 kullanımını gerektirir .$n-1$$n-1$$n$

Böyle bir açıklama ANOVA'daki tahmini varyanslarla ve varyans bileşenleri analiziyle tutarlıdır. Bu gerçekten sadece özel bir durum.

Varyansı etkileyen bazı ayarlamaların yapılması gerekliliği , sanırım, sadece el sallama sonrası eski olan geçerli bir argümanla sezgisel bir şekilde açıklanabilir . (Öğrenci'nin 1908 tarihli t-testi makalesinde böyle bir tartışma yapmış olabileceğini hatırlıyorum.) Varyansa uyum ayarının tam olarak faktörü olmasının neden haklı olduğunu özellikle zordur. düzeltilmiş SD'nin tarafsız bir tahmin edici olduğu. (Sadece varyansın tarafsız bir tahmincisinin kareköküdür. Genellikle tarafsız olmak, doğrusal olmayan bir dönüşüme dayanamaz.) Yani, aslında, önyargılarını gidermek için SD’ye yapılan doğru ayarlama$n/(n-1)$ değildeğil bir faktör hiç!$\sqrt{n/(n-1)}$

Bazı giriş ders kitapları bile ayarlanmış olan sd'nin tanıtılmasını zahmet etmiyor: bir formül öğretiyorlar (bölü ). İlk önce böyle bir kitaptan ders verirken olumsuz tepki verdim, ancak bilgeliği takdir ederek büyüdüm: kavramlara ve uygulamalara odaklanmak için, yazarlar tüm gerekli matematiksel güzellikleri çıkarırlar. Hiçbir şeyin zarar görmediği ve kimsenin yanlış yönlendirilmediği ortaya çıktı.$n$

Tanım olarak, varyans, ortalamadan kare farkların toplamı alınarak ve boyuta bölünmesiyle hesaplanır. Genel formül bizde

neredeμortalama veNpopülasyonun boyutudur.$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$$\mu$$N$

Bu tanımlamaya göre, bir örneğin (örneğin örneği ) varyansı da bu şekilde hesaplanmalıdır.$t$

burada ¯ X, ortalama ven,bu küçük numune boyutu.$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$$\overline{X}$$n$

Ancak, örnek varyansı ile , biz nüfus varyans tahmin edicisi σ 2 . Σ 2'yi nasıl tahmin edebiliriz$S^2$$\sigma^2$$\sigma^2$ sadece örnekteki değerleri kullanarak ?

Yukarıdaki formüllerde göre, rasgele değişken örnek ortalaması sapma ¯ X ile varyans σ 2 t . Örneklem ortalaması ¯ X ayrıca σ 2 varyansı ile μ ' den sapar.$X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$ çünkü numune ortalaması numuneden numuneye farklı değerler alır ve ortalamaμve varyansσ2ile rastgele bir değişkendir$\frac{\sigma^2}{n}$$\mu$ . (Kolayca kanıtlanabilir.)$\frac{\sigma^2}{n}$

Bu nedenle, yaklaşık, sapma halinde u iki varyanslar böylece bu iki toplayın ve elde içeren bir varyans ile σ 2 = σ 2 t + σ $X$$\mu$ . Bunu çözerek,σ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ . Σ 2 t'nin değiştirilmesitahmincimize popülasyon varyansı için verir:$\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

.$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$

Bir de nin doğru olduğunu ispatlayabilir .$E[S^2]=\sigma^2$

Bu tam bir sezgidir, ancak en basit cevap 0'dan ziyade tek elemanlı bir numunenin standart sapmasını sağlamak için yapılan bir düzeltmedir.

Sen daha derin bir anlayışa sahip olabilir değil öyle değil sadece neden yalnız geometri yoluyla terimini n ancak tam da bu halini alır neden, ancak öncelikle baş sezgilerinizi kurmak gerekebilir n boyutlu geometri. Ancak, oradan, doğrusal modellerde (örneğin model df ve artık df) serbestlik derecelerinin daha iyi anlaşılması için küçük bir adımdır. Sanırım Fisher’dan biraz şüpheli$n-1$$n$$n$ bu şekilde düşündüğü hakkında . İşte yavaş yavaş onu oluşturan bir kitap:

Saville DJ, Ahşap GR. İstatistiksel yöntemler: geometrik yaklaşım . 3. baskı New York: Springer-Verlag; 1991. 560 sayfa. 9780387975177

(Evet, 560 sayfa. Yavaş yavaş söyledim.)

Nüfus varyansının tahmincisi, bir popülasyon örneği üzerinde uygulandığında yanlılık göstermektedir. Bu önyargıya ayak uydurabilmek için n yerine n-1 ile bölmek gerekir. Bir kişi matematiksel olarak, örnek varyansın tahmin edicisinin n yerine n-1'e bölündüğü zaman tarafsız olduğunu gösterebilir. Burada resmi bir kanıt sağlanmıştır:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Başlangıçta, formülün yol açtığı matematiksel doğruluk oldu sanırım. Bununla birlikte, bir kişi bir formüle sezgi eklemek istiyorsa, daha önce belirtilen öneriler makul görünmektedir.

İlk olarak, bir numunenin gözlemleri ortalama olarak popülasyon ortalamasından örnek ortalamasına daha yakındır. Varyans tahmincisi, örneklem ortalamasından faydalanır ve bunun sonucunda nüfusun gerçek varyansını hafife alır. N yerine n-1'e bölünmesi, bu önyargıyı düzeltir.

Ayrıca, n-1'e bölünmesi, tek elemanlı bir numunenin varyansını sıfır yerine tanımsız hale getirir.

Neden tarafından böl yerine n ? Çünkü bu alışılmış ve varyansın tarafsız bir tahmininin sonucunu veriyor. Bununla birlikte, Jensen'ın eşitsizliğini içbükey fonksiyonuna karekök uygulayarak görüldüğü gibi standart sapmanın önyargılı (düşük) bir tahminine yol açar.$n-1$$n$

Peki, tarafsız bir tahminciye sahip olmanın nesi harika? Ortalama kare hatasını mutlaka en aza indirmez. Normal dağılım için MLE, n - 1 yerine ile bölmektir . Öğrencilerinize, yüzyıllar öncesinden eski haline getirilmiş fikirleri yerine getirmeyi ve akılsızca uygulamadan ziyade düşünmeyi öğretin.$n$$n-1$

İkinci dereceden çok iyi bilinmektedir (ya da kolayca kanıtlanmıştır) olan bir extremum sahiptir z = - $\alpha z^2 + 2\beta z + \gamma$ . Bu, herhangi birngerçek sayısındax1,x2,…,xn için,G(a)= n ∑ i=1(xi-a)2=( n ∑ i = 1 x 2 i miktarını gösterir. )-2a( n ∑ i = 1 xi)+$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$a = 1 olduğunda minimum değere sahiptir.

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ .$\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

Şimdi, in bilinmeyen ortalama μ ve bilinmeyen varyansa sahip bir dağılımdan n büyüklüğü örneği olduğunu varsayalım$x_i$$n$$\mu$ . Μ olaraktahmin edebiliriz$\sigma^2$$\mu$ hesaplamak için yeterince kolay olmakla birlikte, bir girişim tahmin etmek için hangiσ2 olarak$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$bilmediğimiz bir sorunla karşılaştıμ. ElbetteG( ˉ x ) 'ikolayca hesaplayabiliriz veG(μ)≥G( ˉ x )olduğunu biliyoruz, fakatG(μ)ne kadar büyük? Cevap G(μ$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$daha büyük olan bir yan faktörü yaklaşık olarak $G(\bar{x})$ , yani, G ( μ ) ≈ $\frac{n}{n-1}$ve böylecetahminn-1G(μ)=

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ dağılımının varyansı için1ile yaklaşık olabilir $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

Öyleyse, ( 1 ) ' in sezgisel açıklaması nedir? Evet, bizde o G ( μ ) var$(1)$ çünkü∑ n i = 1 (xi- ˉ x )=n ˉ x -n ˉ x =0. Şimdi, n ( ˉ x - μ )

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ biz olan tüm olağanüstü sıradışı örnek olduğunda hariçxıdaha büyük olanu(ya da hepsi daha küçüktür μ),(3)'ün sağ tarafındaki çift toplamdaki(xi-μ)(xj-μ)toplamları $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$Olumsuz yanı sıra pozitif değerler alır ve bu nedenle birçok iptal işlemi gerçekleşir. Böylece, çift toplamın küçük mutlak değere sahip olması beklenebilir ve biz sadece 1 ile karşılaştırıldığında görmezden geliyoruz. (3)'ün sağındakiG(μ)terimi. Bu durumda,(2) haline G(μ)≈G( ˉ x )+$\frac 1nG(\mu)$$(3)$$(2)$ $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ de talep edildiği gibi .$(1)$

$(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

$X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Rastgele değişken varyans tanımından örnek varyans tanımına gitmek, tipikliğin felsefi ilkesiyle gerekçelendirilebilecek bir ortalama beklentisini tahmin etme meselesidir: Örnek, dağılımın tipik bir gösterimidir. (Bunun, anların tahminiyle aynı olduğunu ancak aynı olmadığını unutmayın.)

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

Önerisi whuber , bu cevap arta kopyalandıktan başka benzer bir soru .

Bessel'in düzeltilmesi, örnek varyansın gerçek varyansın bir tahmincisi olarak kullanılmasındaki yanlılığı düzeltmek için benimsenmiştir. Düzeltilmemiş istatistikteki önyargı, örnek ortalamanın gözlemlerin ortasına gerçek ortalamanınkinden daha yakın olması nedeniyle oluşur ve bu nedenle örnek ortalamanın etrafındaki kare sapmalar, sistematik olarak gerçek ortalamanın etrafındaki kare sapmalarını hafife alır.

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Beklentileri dikkate alarak:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

Böylece düzeltilmemiş örneklem varyans istatistiğinin gerçek varyansı hafife aldığını görebilirsiniz. $\sigma^2$. Bessel'in düzeltme payda ile değiştirir$n-1$Bu tarafsız bir tahmin ediciyi sağlar. Regresyon analizinde bu, tahmin edilen ortalamanın çoklu tahmincilerin doğrusal bir fonksiyonu olduğu daha genel duruma genişletilir ve bu son durumda, serbestlik derecelerinin düşük olması için payda daha da azalır.

Genelde payda "n" kullanmak, tahmin etmek istediğimiz nüfus varyansından daha küçük değerler verir. Bu, özellikle küçük numuneler alınırsa olur. İstatistik dilinde, örneklem varyansının popülasyon varyansının “önyargılı” bir tahminini sunduğunu ve “tarafsız” yapılması gerektiğini söylüyoruz.

Sezgisel bir açıklama arıyorsanız, öğrencilerinizin gerçekten örnekler alarak nedenlerini görmelerine izin vermelisiniz! Bunu izle, soruna kesin cevap veriyor.

https://www.youtube.com/watch?v=xslIhnquFoE

Örnek ortalama, $\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$, oldukça sezgisel. Ancak örnek varyansı$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$. Neredeydi$n - 1$ dan geliyorum ?

Bu soruyu cevaplamak için tarafsız bir tahmincinin tanımına geri dönmeliyiz. Tarafsız bir tahminci, beklentisi gerçek beklenti eğilimindedir. Örnek ortalama tarafsız bir tahmin edicidir. Nedenini görmek için:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Örneklem varyansının beklentisine bakalım,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

Dikkat edin $\bar{X}$ rastgele bir değişkendir ve sabit değildir, beklenti $E[\bar{X}^2]$bir rol oynar. Arkasındaki nedeni bu$n-1$.

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

Gördüğünüz gibi, paydamız varsa $n$ onun yerine $n-1$, varyans için önyargılı bir tahmin alırdık! Fakat$n-1$ tahminci $S^2$ tarafsız bir tahmin edicidir.

Bence Bayesian tahmininin bağlantısını işaret etmeye değer. Verilerinizin Gauss olduğunu varsaydığınızı varsayalım ve ortalamayı ölçtünüz.$\mu$ ve varyans $\sigma^2$ bir örnek $n$puan. Nüfus hakkında sonuç çıkarmak istersiniz. Bayesian yaklaşımı, genelleştirilmiş bir Öğrenci T dağılımı (T-testin kökeni) olan örnek üzerindeki posterior öngörücü dağılımı değerlendirmek olacaktır. Bu dağılımın anlamı$\mu$ve değişkenlik

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

Bu tipik düzeltmeden bile daha büyük. (Var$2n$ özgürlük derecesi.)

Genelleştirilmiş Student'in T dağılımının üç parametresi vardır ve istatistiklerin üçünden de faydalanır. Bazı bilgileri atmaya karar verirseniz, sorunuzda açıklandığı gibi iki parametreli normal dağılım kullanarak verilerinizi yaklaşık olarak tahmin edebilirsiniz.

Bir Bayesian bakış açısından, modelin hiperparametrelerinde belirsizliğin (ortalama ve varyansa göre dağılımlar) posterior öngörücünün varyansının popülasyon varyansından daha büyük olmasına neden olduğunu hayal edebilirsiniz.

Aman Tanrım, karmaşıklaşıyor! Basit cevabın "n" 'i kullanabileceğiniz tüm veri noktalarına sahipseniz, ancak "örnek" e sahipseniz, bunun rasgele bir örnek olduğunu varsayarsak, standart sapmanın içinden daha fazla örnek noktaya sahip olduğunu düşündüm. dışarıdan (standart sapma tanımı). İhtiyacınız olan tüm veri noktalarını rastgele almak için dışarıda yeterli veriye sahip değilsiniz. N-1 "gerçek" standart sapmaya doğru genişlemeye yardımcı olur.