Standart sapmadaki mutlak değeri almak yerine farkı neden kare?

Standart sapma tanımında neden ortalamayı (E) elde etmek ve sonunda karekökü geri almak için ortalamadan farkı kare almak zorundayız ? Aradaki farkın mutlak değerini sadece basitçe alıp , beklenen değerden (ortalama) elde edemez miyiz ve bu, verilerin değişimini de göstermez mi? Sayı, kare yönteminden farklı olacaktır (mutlak değer yöntemi daha küçük olacaktır), ancak yine de verilerin yayılmasını göstermelidir. Bu kare yaklaşımı neden standart olarak aldığımızı bilen var mı?

Standart sapmanın tanımı:

$\sigma = \sqrt{E\left[\left(X - \mu\right)^2\right]}.$

Bunun yerine mutlak değeri alabilir miyiz ve hala iyi bir ölçüm olamaz mı?

$\sigma = E\left[|X - \mu|\right]$

Standart sapmanın amacı, simetrik bir veri setinin (yani genel olarak her bir verinin ortalamadan ne kadar uzak olduğunu) yayılmasını özetlemekse, o zaman bu yayılmanın nasıl ölçüleceğini tanımlamaya yönelik iyi bir yönteme ihtiyacımız vardır.

Kare almanın yararları:

• Kareler her zaman pozitif bir değer verir, böylece toplam sıfır olmaz.
• Kare alma, daha büyük farklılıklara vurgu yapar - hem iyi hem de kötü olduğu ortaya çıkan bir özellik (aykırı değerlerin etkisini düşünün).

Bununla birlikte, karenin bir yayılma ölçüsü olarak bir sorunu vardır ve bu birimlerin hepsinin karesi olduğu anlamına gelir; oysa yayılmanın orijinal verilerle aynı birimlerde olmasını tercih edebiliriz (kare kare, kare dolar veya kare elma düşünün) . Bu yüzden karekök orjinal ünitelere geri dönmemize izin verir.

Sanırım, mutlak farkın, veri dağılımına eşit ağırlık verdiğini söyleyebilirsiniz, oysa ki kare alma aşırılıkları vurgulamaktadır. Teknik olarak, diğerlerinin de belirttiği gibi, kare alma cebirle çalışmayı çok kolaylaştırır ve mutlak yöntemin yapmadığı özellikler sunar (örneğin, varyans eksi karenin karesinin eksi karesinin beklenen değerine eşittir) dağılımın ortalaması)

Bununla birlikte , “yayılmayı” nasıl görmek istediğinizi tercih ediyorsanız (bazı kişilerin-değerleriiçin sihirli bir eşik olarak% 5'i nasıl göreceği gibi), mutlak farkı alamamanızın hiçbir nedeni olmadığını not etmek önemlidir. aslında duruma bağlı olduğunda). Aslında, yayılmayı ölçmek için çeşitli rekabet yöntemleri vardır.$p$

Benim görüşümün kare değerleri kullanmak olduğu için, bunun Pisagor İstatistik Teoremi ile nasıl ilişkili olduğunu düşünmekten hoşlanıyorum: … bu aynı zamanda bağımsız rastgele değişkenlerle çalışırken hatırlamama yardımcı oluyor varyanslar ekle, standart sapmalar yok. Ancak bu sadece çoğunlukla bir hafıza yardımı olarak kullandığım kişisel öznel tercihimdir, bu paragrafı görmezden gelmekten çekinmeyin.$c = \sqrt{a^2 + b^2}$

Çok daha derinlemesine analiz okunabilir burada .

Kare farkı daha hoş matematiksel özelliklere sahiptir; sürekli farklılaştırılabilir (küçültmek istediğinizde hoş), Gauss dağılımı için yeterli bir istatistiktir ve yakınsama ve benzeri şeyleri kanıtlamak için kullanışlı olan L2 normudur.

Ortalama mutlak sapma (önerdiğiniz mutlak değer gösterimi) aynı zamanda bir dağılma ölçüsü olarak da kullanılır, ancak kare hatası kadar "iyi davranılmış" değildir.

Bunu düşünebilmenin bir yolu standart sapmanın "ortalamadan uzaklığa" benzemesidir.

Bunu, öklid uzamındaki mesafelerle karşılaştırın - bu size gerçek mesafeyi verir, burada önerdiğiniz şeyin (btw, mutlak sapma olduğu ) bir manhattan mesafe hesaplaması gibi.

Nedeni, biz standart sapma yerine mutlak hata hesaplamaktayız olmasıdır normal dağıtılacak hata varsayarak . Modelin bir parçası.

Bir cetvelle çok küçük uzunlukları ölçtüğünüzü varsayalım, sonra standart sapma hata için hatalı bir ölçümdür çünkü negatif bir uzunluğu yanlışlıkla ölçmeyeceksiniz. Daha iyi bir ölçüm, bir Gamma dağılımının ölçümlerinize uymasına yardımcı olacak bir ölçü olabilir:

$\log(E(x)) - E(\log(x))$

Standart sapma gibi, bu da olumsuz değildir ve farklılaştırılabilir, ancak bu sorun için daha iyi bir hata istatistiğidir.

Beni en iyi tatmin eden cevap, doğal olarak bir numunenin genelleştirilmesinden n boyutlu öklid uzayına düşmesi. Yapılması gereken bir şey olup olmadığı kesinlikle tartışmalıdır, ancak her durumda:

Senin varsayın ölçümleri her bir eksen vardır . Ardından verileriniz o alanda bir nokta tanımlar . Şimdi, verilerin hepsinin birbirine çok benzer olduğunu farkedebilirsiniz, bu nedenle onları, tarafından tanımlanan satırda yatması gereken tek bir konum parametresi ile temsil edebilirsiniz . Veri noktanızı bu satıra yansıtmak değerini alır ve yansıtılan nokta ile gerçek veri noktasına olan uzaklık.$n$$X_i$$\mathbb R^n$$x_i$$\bf x$$\mu$$X_i=\mu$$\hat\mu=\bar x$$\hat\mu\bf 1$$\sqrt{\frac{n-1} n}\hat\sigma=\|\bf x-\hat\mu\bf 1\|$

Bu yaklaşım aynı zamanda korelasyon için geometrik bir yorum alır, .$\hat\rho=\cos \angle(\vec{\bf\tilde x},\vec{\bf\tilde y})$

Farkı ortalamanın karelemesinin birkaç nedeni vardır.

• Varyans sapmanın 2. momenti (buradaki RV ) olarak tanımlanır ve bu nedenle momentler karesi sadece rastgele değişkenin daha yüksek güçlerinin beklentileridir.$(x-\mu)$

• Mutlak değer fonksiyonunun aksine bir kareye sahip olmak, güzel bir sürekli ve farklılaştırılabilir fonksiyon verir (mutlak değer 0'da ayırt edilemez) - bu onu özellikle tahmin ve regresyon analizi bağlamında doğal bir seçim haline getirir.

• Kare formülasyonu ayrıca doğal olarak Normal Dağılım parametrelerinin dışında kalmaktadır.

Diğer bir neden (yukarıdaki mükemmel olanlara ek olarak) standart sapmanın mutlak sapmadan daha "verimli" olduğunu gösteren Fisher'ın kendisinden gelir. Burada, verimli bir istatistiğin bir popülasyondan farklı örneklemelerde değer açısından ne kadar değişkenlik göstereceği ile ilgilidir. Nüfusunuz normal olarak dağılmışsa, bu popülasyondan çeşitli örneklerin standart sapması ortalama olarak size birbirine oldukça benzer değerler verir, oysa mutlak sapma size biraz daha fazla yayılan sayılar verir. Şimdi, belli ki bu ideal koşullarda, ancak bu sebep birçok insanı (matematiğin temiz olması ile birlikte) ikna etti, bu yüzden çoğu insan standart sapmalarla çalıştı.

İnsanların bilmesi için aynı konuda bir Matematik Taşması sorusu var.

Neden-is-it-so-cool-to-kare-sayılarla-in-terimleri-of-bulma-standart-sapma

Paket alma mesajı, varyansın karekökünün kullanılmasının matematiğin daha kolay olmasına yol açtığını gösterir. Benzer bir cevap yukarıda Rich ve Reed tarafından verilmiştir.

$\newcommand{\var}{\operatorname{var}}$ Varyanslar : bağımsız rasgele değişkenler için , $X_1,\ldots,X_n$

$$\var(X_1+\cdots+X_n)=\var(X_1)+\cdots+\var(X_n).$$

Bunun ne mümkün olduğuna dikkat edin: Diyelim ki 900 kez adil bir para atayım. Elime geçen kafa sayısının 440 ile 455 arasında olması ihtimali nedir? Sadece kafaları beklenen sayısını (bulmak ) ve başlığı (sayısı varyans ), daha sonra beklentisi ile normal (veya Gauss) dağılımına sahip olasılığını bulmak ve standart sapma arasındadır ve . Abraham de Moivre bunu 18. yüzyılda bozuk para fırlattı ve ilk önce çan şeklindeki eğrinin bir değere mal olduğunu gösterdi.$450$$225=15^2$$450$$15$$439.5$$455.5$

Mutlak sapmaların ve kare sapmaların kullanılması arasındaki karşıtlığın, tek bir değişkenin ötesine geçip doğrusal regresyon hakkında düşündüğünüzde netleştiğini düşünüyorum. Http://en.wikipedia.org/wiki/Least_absolute_deviations adresinde güzel bir tartışma var , özellikle http: // www. .math.wpi.edu / Course_Malerials / SAS / lablets / 7.3 / 73_choices.html .

Özetlemek gerekirse, en az mutlak sapmalar, sıradan en küçük karelere göre aykırı değerlere göre daha sağlamdır, ancak dengesiz olabilir (tek bir veri noktasında küçük bir değişiklik, takılan çizgide büyük bir değişiklik sağlayabilir) ve her zaman benzersiz bir çözüme sahip değildir - olabilir bir dizi takılı hat. Ayrıca en küçük mutlak sapmalar yinelemeli yöntemler gerektirirken, sıradan en küçük kareler basit bir kapalı form çözümüne sahip olsalar da, elbette bu Gauss ve Legendre günlerinde olduğu kadar büyük bir şey değil.

Bir çok neden var; Muhtemelen ana, normal dağılımın parametresi olarak iyi çalışmasıdır.

Birçok yönden, dağılmayı özetlemek için standart sapmanın kullanılması bir sonuca varmaktadır. SD'nin, ortalamanın üzerindeki mesafeden itibaren ortalamanın altındaki eşit muamele nedeniyle dolaylı olarak simetrik bir dağılım üstlendiğini söyleyebilirsiniz. SD, istatistikçi olmayan kişilere yorum yapmak şaşırtıcı derecede zor. Bir kişi Gini'nin ortalama farkının daha geniş bir uygulamaya sahip olduğunu ve önemli ölçüde daha fazla yorumlanabileceğini iddia edebilir. Birinin, SD kullanımının ortalama olarak yaptığı gibi, kendi seçimlerini bir merkezi eğilim ölçüsü olarak ilan etmesini gerektirmez. Gini'nin ortalama farkı, herhangi iki farklı gözlem arasındaki ortalama mutlak farktır. Sağlam ve yorumlanması kolay olmasının yanı sıra, eğer dağılım aslında Gauss ise, SD kadar 0,98 olur.

Bir dağılımın standart sapmasını tahmin etmek bir mesafe seçmeyi gerektirir.
Aşağıdaki mesafelerden herhangi biri kullanılabilir:

$$d_n((X)_{i=1,\ldots,I},\mu)=\left(\sum | X-\mu|^n\right)^{1/n}$$

Genellikle günlük yaşamda herkesin kullandığı doğal öklid mesafesini ( ) kullanırız. Önerdiğiniz mesafe . Her ikisi de iyi adaylar ama farklılar.$n=2$$n=1$

Biri kullanmaya da karar verebilir .$n=3$

Cevabımı beğeneceğinizden emin değilim, benim açımdan başkalarına aykırı daha iyi olduğunu göstermemek . Bir dağılımın standart sapmasını tahmin etmek istiyorsanız, kesinlikle farklı bir mesafe kullanabileceğinizi düşünüyorum.$n=2$

“Verinin yayılması” derken ne hakkında konuştuğunuza bağlı. Bana göre bu iki şey anlamına gelebilir:

1. Örnekleme dağılımının genişliği
2. Verilen bir tahminin doğruluğu

Madde 1) için, normal bir örnekleme dağılımına sahip olduğunuz durumlar hariç, standart sapmayı yayılma ölçüsü olarak kullanmak için özel bir neden yoktur. Ölçü bir durumunda, daha uygun bir ölçüsüdür Laplace Örnekleme dağılımı . Tahminime göre, standart sapma burada 2) noktadan taşınan sezgilerden dolayı kullanılıyor. Muhtemelen ayrıca, standart sapmanın uygun ölçü olduğu genel olarak en küçük kareler modellemesinin başarısından da kaynaklanmaktadır. Muhtemelen ayrıca, nin hesaplanması çoğu zaman dağılımlar için hesaplamasından genellikle daha kolaydır .$E(|X-\mu|)$$E(X^2)$$E(|X|)$

Şimdi, madde 2) için, varyans / standart sapmayı yayılma ölçüsü olarak kullanmak için çok iyi bir neden var. Laplace yaklaşımında bir posteriorla görebilirsiniz. Veri ve ön bilgiler , parametresinin posteriorunu aşağıdaki gibi yazın:$D$$I$$\theta$

$$p(\theta\mid DI)=\frac{\exp\left(h(\theta)\right)}{\int \exp\left(h(t)\right)\,dt}\;\;\;\;\;\;h(\theta)\equiv\log[p(\theta\mid I)p(D\mid\theta I)]$$

Ben kullandım paydası bağlı değildir belirten bir kukla değişken olarak . Eğer posterior tek bir yuvarlanmış maksimuma sahipse (yani bir "sınıra" çok yakın değilse), log . Taylor genişlemesinin ilk iki terimini alırsak (fark için asal kullanarak):$t$$\theta$$\theta_\max$

$$h(\theta)\approx h(\theta_\max)+(\theta_\max-\theta)h'(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

Fakat burada biz çünkü "iyi yuvarlanmış" bir maksimum, , yani biz:$\theta_\max$$h'(\theta_\max)=0$

$$h(\theta)\approx h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

Bu yaklaşımı takarsak, şunu elde ederiz:

$$p(\theta\mid DI)\approx\frac{\exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

$$=\frac{\exp\left(\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

Bu, ancak gösterim için normal bir dağılımdır, ortalama ve değişkenlik eşit$E(\theta\mid DI)\approx\theta_\max$

$$V(\theta\mid DI)\approx \left[-h''(\theta_\max)\right]^{-1}$$

( her zaman pozitiftir, çünkü çok iyi bir ). Bu, "normal problemlerde" (çoğu) olduğu, varyansın için tahminlerin doğruluğunu belirleyen temel miktar olduğu anlamına gelir . Dolayısıyla, büyük miktarda veriye dayanan tahminler için, standart sapma teorik olarak çok anlam ifade eder - temel olarak bilmeniz gereken her şeyi size söyler. Temelde aynı argüman (aynı koşullarla gerekli) olan çok boyutlu durumda da bir Hessian matrisidir. Köşegen girişler de burada temel olarak değişkenlik gösteriyor.$-h''(\theta_\max)$$\theta$$h''(\theta)_{jk}=\frac{\partial h(\theta)}{\partial \theta_j \, \partial \theta_k}$

Maksimum olasılık yöntemini kullanan sık görüşmeci, esasen aynı sonuca varacaktır, çünkü MLE, verilerin ağırlıklı bir birleşimi olma eğilimindedir ve büyük örnekler için, Merkezi Limit Teoremi uygulanır ve temelde ancak ve değişimli: (hangi paradigmayı tercih ettiğimi tahmin edip edemediğinizi görün: P). Her iki durumda da, parametre tahmininde standart sapma, yaymanın önemli bir teorik ölçüsüdür.$p(\theta\mid I)=1$$\theta$$\theta_\max$

$$p(\theta_\max\mid\theta)\approx N\left(\theta,\left[-h''(\theta_\max)\right]^{-1}\right)$$

"Neden farkı" mutlak değer almak "yerine" kareye ayırmalı "? Tam olarak cevaplamak için, kabul edilme nedenlerini gösteren literatür ve bu nedenlerin çoğunun neden böyle olmadığına dair bir durum vardır. “Mutlak değeri basitçe alabilir miyiz…?”. Cevabın evet olduğu literatürün farkındayım, yapılmasının avantajlı olduğu iddia ediliyor.

Yazar Gorard, ilk önce karelerin kullanılması, hesaplama basitliği nedeniyle daha önce benimsendiğini ancak bu orijinal nedenlerin artık geçerli olmadığını belirtti. Gorard, ikinci olarak, OLS'nin benimsendiğini, çünkü Fisher'ın OLS kullanılan analiz örneklerinin sonuçlarının mutlak farklar kullananlardan (kabaca belirtildiği gibi) daha küçük sapmalara sahip olduğunu tespit ettiğini belirtti. Böylece, OLS'nin bazı ideal durumlarda faydaları olabileceği görülüyor; Bununla birlikte, Gorard, bazı gerçekler üzerinde (ve Fisher'ın kabul ettiğini iddia ediyor), gerçek dünya koşulları altında (gözlemlerin eksik ölçümü, düzgün olmayan dağılımlar, bir numuneden çıkarım yapılmayan bir nüfusun çalışmalarının) kareler kullanmaktan daha kötü olduğuna dikkat çekiyor. mutlak farklar.

Gorard'ın sorunuza cevabı "Bunun yerine farkın mutlak değerini alıp beklenen değeri (ortalamaları) alabilir miyiz?" Evet. Bir diğer avantaj, farklılıkları kullanmanın, bu fikirleri yaşamda deneyimlediğimiz yöntemlerle ilgili önlemler (hata ve varyasyon ölçüleri) üretmesidir. Gorard, restoranı eşit şekilde bölen insanları hayal ettiğini ve bazılarının bu yöntemin haksız olduğunu sezgisel olarak görebileceğini hayal ettiğini söylüyor. Oradaki hiç kimse hataları çözemez; farklar meseledir.

Son olarak, mutlak farklar kullanarak, her bir gözlemi eşit olarak ele alır, oysa ki farklılıkların karelenmesiyle, farklılıklar kareye alındığında, tahminlerin iyi tahmin edilen gözlemlerden çok daha ağır olduğunu tahmin eder, bu da bazı gözlemlerin çalışmaya birkaç kez dahil edilmesine izin vermek gibidir. Özet olarak, genel itiş gücü, günümüzde kareleri kullanmak için birçok kazanma nedeni bulunmadığı ve bunun aksine mutlak farkları kullanmanın avantajları olduğu yönündedir.

Referanslar:

• Gorard, S. (2005). 90 yıllık bir tartışmayı tekrar gözden geçirme : ortalama sapmanın avantajları , İngiliz Eğitim Araştırmaları Dergisi, 53 , 4, s. 417-430.
• Gorard, S. (2013). Ortalama mutlak sapma “etki” boyutunun olası avantajları , Sosyal Araştırma Güncellemesi , 65: 1.

Çünkü kareler diğer birçok matematiksel işlemin kullanımına izin verebilir veya mutlak değerlerden daha kolay işlevler yapabilir.

Örnek: kareler entegre edilebilir, farklılaştırılabilir, trigonometrik, logaritmik ve diğer fonksiyonlarda kolaylıkla kullanılabilir.

Rastgele değişkenler eklerken, varyasyonları tüm dağılımlar için ekler. Varyans (ve dolayısıyla standart sapma) hemen hemen tüm dağılımlar için yararlı bir önlemdir ve hiçbir şekilde gaussian (aka "normal") dağılımlarla sınırlı değildir. Bu bizim hata ölçütümüz olarak kullanmaya değer. Benzersiz olmama, mutlak farklılıklarla ciddi bir problemdir, çünkü çoğu zaman sonsuz sayıda eşit ölçü "uyması" vardır ve yine de "ortadaki bir" en gerçekçi olarak tercih edilir. Ayrıca, bugünün bilgisayarlarında bile, hesaplama verimliliği önemlidir. Büyük veri kümeleriyle çalışıyorum ve CPU zamanı önemli. Bununla birlikte, önceki bazı cevapların işaret ettiği gibi, artıkların tek bir mutlak “en iyi” ölçüsü yoktur. Farklı durumlar bazen farklı önlemleri gerektirir.

Doğal olarak bir dağılımın dağılımını anlamlı şekilde (mutlak sapma, nicelikler vb.) Tanımlayabilirsiniz.

Güzel bir gerçek, varyansın ikinci merkezi an olduğu ve her dağılımın varsa, anları tarafından benzersiz bir şekilde tanımlandığıdır. Bir başka güzel gerçek, varyansın karşılaştırılabilir herhangi bir metrikten matematiksel olarak daha izlenebilir olmasıdır. Başka bir gerçek, varyansın normal parametre için normal dağılımın iki parametresinden biri olması ve normal dağılımın sadece bu iki parametre olan sıfır olmayan 2 merkezi ana sahip olmasıdır. Normal olmayan dağılımlar için bile normal bir çerçevede düşünmek faydalı olabilir.

Gördüğüm gibi, standart sapmanın böyle olmasının nedeni, uygulamalarda varyansın karekökünün düzenli olarak ortaya çıkmasıdır (örneğin rastgele bir değişkenin standartlaştırılması için), bunun için bir ad gereklidir.

Farklı ve belki de daha sezgisel bir yaklaşım, doğrusal gerileme karşı medyan gerilimi düşündüğünüz zamandır.

Farz edelim ki modelimiz . Daha sonra b 'nin beklenen kare kalıntısını minimize ederek, .$\mathbb{E}(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} (y - x b)^2$

Bunun yerine modelimiz Median , o zaman mutlak kalıntıları en aza indirerek parametre tahminlerimizi buluruz ,.$(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} |y - x b|$

Başka bir deyişle, mutlak mı kare kare mi kullanılacağı, beklenen değeri mi yoksa medyan değeri mi seçmek istediğinize bağlıdır.

Örneğin, dağılım eğri heteroseksensellik gösterirse, o zaman beklenen değerinin eğiminin eğimin medyan değeri için nasıl değiştiği konusunda büyük bir fark vardır .$y$$x$$y$

Koenker ve Hallock, medyan regresyonun özel bir durum olduğu kuantil regresyonda güzel bir parçaya sahip: http://master272.com/finance/QR/QRJEP.pdf .

Benim tahminim şudur: Çoğu nüfus (dağılım) ortalamanın etrafında toplanma eğilimindedir. Ne kadar uzak bir değer, ortalamadan o kadar nadir olur. Bir değerin ne kadar "satır dışı" olduğunu yeterince ifade etmek için, hem ortalamadan uzaklığını hem de (normal olarak konuşan) oluşun nadirliğini dikkate almak gerekir. Farkı ortalamanın karesinden almak, daha küçük sapmalara sahip değerlerle karşılaştırıldığında bunu yapar. Tüm varyansların ortalaması alındıktan sonra, birimleri orijinal boyutlarına geri döndüren karekökü almak uygundur.

Kareler daha büyük sapmaları yükseltir.

Örneğinizin grafiğin her yerinde değerleri varsa, ilk standart sapma içindeki% 68.2'yi getirmek için standart sapma biraz daha geniş olmalıdır. Verileriniz tüm ortalamanın etrafında düşme eğilimindeyse, σ daha sıkı olabilir.

Bazıları hesaplamaları basitleştirdiğini söylüyor. Karenin pozitif karekökünü kullanmak, bu argümanın yüzmemesini sağlardı.

$|x| = \sqrt{x^{2}}$

Eğer cebirsel basitlik amaç olsaydı, o zaman şöyle olurdu:

$\sigma = \text{E}\left[\sqrt{(x-\mu)^{2}}\right]$ ki bu, aynı sonuçları verir. .$\text{E}\left[|x-\mu|\right]$

Belli ki bunun karesi, dış kaynaklı hataları (doh!) Yükseltme etkisine de sahiptir.

Standart sapmadaki mutlak değeri almak yerine farkı neden kare?

X'in farkını ortalamanın karesinden çıkardık çünkü serbestlik derecelerinin karekökü ile orantılı Öklid mesafesi, (popülasyon ölçüsündeki x sayısı) en iyi dağılım ölçüsüdür.

Hesaplama mesafesi

0 ile 5 arasındaki mesafe nedir?

• $5-0 = 5$ ,
• $|0-5| = 5$ ve
• $\sqrt{5^2} = 5$

Tamam, bu önemsiz çünkü tek bir boyut.

0, 0 ve 3, 4 arasındaki noktaların mesafesi ne durumda?

Bir seferde sadece 1 boyutta gidebilirsek (şehir bloklarında olduğu gibi) o zaman sadece sayıları toplarız. (Bu bazen Manhattan mesafesi olarak bilinir).

Ama aynı anda iki boyutta ne olacak? Sonra (hepimiz lisede öğrendiğimiz Pisagor teoremi ile), her boyuttaki mesafeyi kareleriz, kareleri toplarız ve sonra orijinden noktaya kadar olan mesafeyi bulmak için karekökü alırız.

$$\sqrt{3^2 + 4^2} = \sqrt{25} = 5$$

0, 0, 0'daki bir noktadan 1, 2, 2 arasındaki mesafeye ne dersiniz?

Bu sadece

$$\sqrt{1^2+2^2 + 2^2} = \sqrt9 = 3$$

çünkü ilk iki x'in mesafesi, toplam x'in son x ile hesaplanması için ayağı oluşturur.

$$\sqrt{\sqrt{x_1^2 + x_2^2}^2 + x_3^2} = \sqrt{x_1^2 + x_2^2 + x_3^2}$$

Her boyutun mesafesinin karelenme kuralını genişletmeye devam edebiliriz; bu, hiper-boyutlu uzayda dikgen ölçümler için, Öklid mesafesi dediğimiz şeye genelleşir:

$$distance = \sqrt{ \sum_{i=1}^n{x_i^2} }$$

ve böylece dikey karelerin toplamı kare uzaklıktır:

$$distance^2 = \sum_{i=1}^n{x_i^2}$$

Bir ölçümü bir başkasına dik (veya dik açılarda) yapan nedir? Koşul, iki ölçüm arasında bir ilişki olmamasıdır. Bu ölçümlerin bağımsız ve ayrı ayrı dağıtılmış olmasını isteriz ( iid ).

Varyans

Şimdi popülasyon varyansı formülünü hatırlayın (bundan standart sapmayı alacağız):

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}$$

Ortalamayı çıkartarak verileri zaten 0'da ortaladıysak, şunları yaptık:

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i)^2} {n}$$

Dolayısıyla, varyansın sadece serbestlik derecelerinin (değişkenlerin üzerinde değişkenlik gösterdiği boyutların sayısı) bölünmüş kareler arası mesafe olduğunu görüyoruz. Bu aynı zamanda ölçüm başına olan ortalama katkıdır . "Ortalama kare değişme" de uygun bir terimdir.$distance^2$

Standart sapma

O zaman, varyansın sadece kare kökü olan standart sapma var:

$$\sigma = \sqrt{\frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}}$$

Eşdeğerde, serbestlik derecelerinin karekökü ile bölünen uzaklık :

$$\sigma = \frac{\sqrt{\displaystyle\sum_{i=1}^{n}(x_i)^2}} {\sqrt{n}}$$

Ortalama mutlak sapma

Ortalama Mutlak Sapma (MAD), Manhattan mesafesini kullanan bir dağılım ölçüsüdür veya ortalamadan farkların mutlak değerlerinin toplamıdır.

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i - \mu|} {n}$$

Yine, verilerin merkezlendiğini varsayarsak (ortalama çıkarıldı) Manhattan mesafesinin ölçüm sayısına bölünmesiyle:

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i|} {n}$$

Tartışma

• Ortalama mutlak sapma, normal dağılmış bir veri kümesi için standart sapmanın boyutunun yaklaşık 8 katıdır ( aslında$\sqrt{2/\pi}$ ).
• Dağılımdan bağımsız olarak, ortalama mutlak sapma standart sapmaya eşit veya daha azdır. MAD, standart sapmaya göre aşırı değerler içeren bir veri setinin dağılımını belirtir.
• Ortalama Mutlak Sapma, aykırı değerlere karşı daha dayanıklıdır (yani aykırı değerlerin, standart sapma üzerindeki istatistiklerinde büyük bir etkisi yoktur.
• Geometrik olarak konuşursak, eğer ölçümler birbirine dik değilse (örneğin) - örneğin, pozitif olarak korelasyona girmeleri durumunda, ortalama mutlak sapma, öklid mesafesine dayanan standart sapmaya göre daha iyi bir tanımlayıcı istatistik olacaktır (bunun genellikle ince olmasına rağmen) ).

Bu tablo yukarıdaki bilgileri daha kısa ve öz bir şekilde yansıtmaktadır:

$$\begin{array}{lll} & MAD & \sigma \\ \hline size & \le \sigma & \ge MAD \\ size, \sim N & .8 \times \sigma & 1.25 \times MAD \\ outliers & robust & influenced \\ not\ i.i.d. & robust & ok \end{array}$$

Yorumlar:

"Normal mutlak sapma, normal dağılmış bir veri kümesi için standart sapmanın boyutunun yaklaşık 0,8 katıdır" için bir referansınız var mı? Çalıştırdığım simülasyonlar bunun yanlış olduğunu gösteriyor.

Standart normal dağılımdan bir milyon örneğin 10 simülasyonu:

>>> from numpy.random import standard_normal
>>> from numpy import mean, absolute
>>> for _ in range(10):
...     array = standard_normal(1_000_000)
...     print(numpy.std(array), mean(absolute(array - mean(array))))
... 
0.9999303226807994 0.7980634269273035
1.001126461808081 0.7985832977798981
0.9994247275533893 0.7980171649802613
0.9994142105335478 0.7972367136320848
1.0001188211817726 0.798021564315937
1.000442654481297 0.7981845236910842
1.0001537518728232 0.7975554993742403
1.0002838369191982 0.798143108250063
0.9999060114455384 0.797895284109523
1.0004871065680165 0.798726062813422

Sonuç

Bir dağılım ölçüsü hesaplarken kare farkları tercih ediyoruz, çünkü bize dağılımın daha iyi tanımlayıcı bir istatistiğini veren Öklid mesafesini kullanabiliriz. Daha göreceli olarak aşırı değerler varsa, Öklid mesafesi istatistikte bunu hesaba katarken, Manhattan mesafesi her ölçüme eşit ağırlık verir.