Normal dağılımın parametrelerini tahmin etmek: ortalama yerine medyan?

Normal dağılım parametrelerini tahmin etmek için ortak yaklaşım, ortalama ve örnek standart sapma / varyansını kullanmaktır.

Ancak, bazı aykırı değerler varsa, medyan ve medyandan medyan sapması çok daha sağlam olmalıdır, değil mi?

Bazı veri kümeleri ben, tahmin normal dağılım çalıştı klasik çok daha iyi bir uyum sağlıyor gibi görünmektedir ortalama kullanılarak ve RMS sapması. $\mathcal{N}(\text{median}(x), \text{median}|x - \text{median}(x)|)$ $\mathcal{N}(\hat\mu, \hat\sigma)$

İçin herhangi bir neden var mı yok Veri kümesindeki bazı aykırı vardır varsayarsak ortancasını kullanılır? Bu yaklaşım için bir referans biliyor musunuz? Google'da yapılan hızlı bir arama, burada medyan kullanmanın yararlarını tartışan yararlı sonuçlar bulamadı (ancak açıkçası, "normal dağıtım parametresi tahmini medyanı" çok spesifik bir arama terimi kümesi değildir).

Ortanca sapma, taraflı mı? ile çarpmalı mıyım önyargıyı azaltmak için? $\frac{n-1}{n}$

Gama dağıtımı veya Üstel olarak değiştirilmiş Gauss dağıtımı (parametre tahmininde çarpıklığa ihtiyaç duyan ve aykırı değerler bu değeri gerçekten bozuyor) gibi diğer dağıtımlar için benzer sağlam parametre tahmin yaklaşımlarını biliyor musunuz?

— Erich Schubert
kaynak

Eğer aykırı değerleriniz varsa, dağılımınız gerçekten Gauss normal olmayabilir. Bu elbette sorunuza cevap vermiyor, ama IMO, bu her zaman eğlendirmek için bir olasılık.

— sds

Basit, temiz, matematiksel bir dağılımım yok. Doğası gereği dağınık gerçek verilerim var. Hiçbir dağıtım mükemmel bir uyum olmayacaktır, çünkü artık durumu analitik olarak ele alamazsınız. Ve aykırı değerler aslında benim ilgim. :-)

— Erich Schubert

Yanıtlar:

Kontamine bir Gauss dağılımından çizilen verileri içeren bir örnekte , yerine nerede : $\text{mad}$ $\text{med}|x-\text{med}(x)|$ $\text{mad}(x)$

mad = 1.4826 \times med | x - med (x) |

$\text{mad}=1.4826\times\text{med}|x-\text{med}(x)|$

dir; burada, sağlamak için tasarlanmış bir tutarlılık faktör olduğu başlangıçta Gauss tarafından yapıldığı uncontaminated-- olan (Walker , H. (1931)). $(\Phi^{-1}(0.75))^{-1}=1.4826$

E (mad (x)^{2}) = Var (x)

$\text{E}(\text{mad}(x)^2)=\text{Var}(x)$

x

$x$

Bu durumda örnek ortalama yerine kullanmamak için herhangi bir neden düşünemiyorum . (Gauss at!) Alt verimi kullanmak için bir neden olabilir sizin örnekte. Bununla birlikte, için eşit derecede sağlam ve yüksek verimli alternatifler vardır . Bunlardan biri $\text{med}$ $\text{mad}$ $\text{mad}$ $\text{mad}$ $Q_n$ . Bu tahmincinin yanında başka avantajları da vardır. Ayrıca aykırı değerlere karşı çok duyarsızdır (aslında deliler kadar duyarsızdır). Deliğin aksine, bir konum tahmini etrafında inşa edilmemiştir ve verilerin kirlenmemiş kısmının dağılımının simetrik olduğunu varsaymaz. Deli gibi, sipariş istatistiklerine dayanır, böylece örneğinizin altında yatan dağıtımda hiçbir an olmadığında bile her zaman iyi tanımlanır. Deli gibi, Basit ve açık bir formu vardır. Kızgın için bile, tarif ettiğiniz örnekte yerine örnek standart sapmayı kullanmak için hiçbir neden görmüyorum ( hakkında daha fazla bilgi için Rousseeuw ve Croux 1993'e bakınız ). $Q_n$ $Q_n$

$x\sim\Gamma(\nu,\lambda)$

med (x) \approx λ (ν - 1 / 3)

$\text{med}(x)\approx\lambda(\nu-1/3)$

mad (x) \approx λ \sqrt{ν}

$\text{mad}(x)\approx\lambda\sqrt{\nu}$

$\nu>1.5$

\hat{ν} = {(\frac{med (x)}{mad (x)})}^{2}

$\hat{\nu}=\left(\frac{\text{med}(x)}{\text{mad}(x)}\right)^2$

\hat{λ} = \frac{mad (x)^{2}}{med (x)}

$\hat{\lambda}=\frac{\text{mad}(x)^2}{\text{med}(x)}$

Tam bir türev için Chen ve Rubin'e (1986) bakınız.

J. Chen ve H. Rubin, 1986. Gama ve Poisson dağılımlarının medyan ve ortalaması arasındaki farkın sınırları, Statist. Probab. Lett., 4, 281-283.
PJ Rousseeuw ve C. Croux, 1993. Amerikan İstatistik Derneği Medyan Mutlak Sapma Dergisi'ne alternatifler, Cilt. 88, No. 424, sayfa 1273-1283
Walker, H. (1931). İstatistiksel Yöntem Tarihinde Yapılan Çalışmalar. Baltimore, MD: Williams & Wilkins Co. s.24-25.

— user603
kaynak

Φ^{- 1} (0.75)^{- 1} \approx 1.4826

$\Phi^{-1}(0.75)^{-1} \approx 1.4826$

@ErichSchubert: haklısın: İkinci tersi unuttum ... düzeltildi.

— user603

n / (n - 1)

$n/(n-1)$

@whuber: bunun için teşekkürler, şimdi cümlenin 'bu ruhta benzer ' olduğunu kolayca anlayabiliyorum. Kaldırdım.

— user603

ExNormal bölümünü ayrı bir soru haline getirdim : stats.stackexchange.com/questions/48907/… Ama sizin için bir tane daha var: LogNormal dağıtım - log uygulayarak işleyin, sonra normal dağıtımda olduğu gibi devam et?

— Erich Schubert

İddia ettiğiniz gibi, veriler, bazı küçük aykırı değerlerin dışında normal ise, medyan ve medyan mutlak sapma, brüt hatalara karşı sağlam olacaktır, ancak harici olmayan verilerdeki bilgileri çok verimli kullanmaz.

Bazı bilseydin önsel aşırı değerlerin oranının üzerinde bağlandım olabilir Döşeme ortalama ve söz konusu oranda Winsorize standart sapma. Böyle bir bilgi gerektirmeyen bir alternatif, M-tahmin edicilerinin konum için kullanılması ve varyans için ilgili miktarların kullanılması olacaktır. Varsayımlarınız doğruysa verim kazancı (veriler, aykırı değerlerin çok küçük bir yüzdesi dışında gerçekten normal olması gibi) bazı durumlarda önemli olabilir.

Ortanca sapma, standart sapmanın bir tahmini olarak önyargılıdır - ancak gibi değil $\frac{n}{n-1}$ ayarı; düzeltilmemiş örnek ortalama karesi asimptotik olarak varyansa gider, ancak örnek medyan mutlak sapması asimptotik olarak popülasyon standart sapmasına gitmez; Gerekirse bir sabit ile çarpın basitçe almak için tutarlılık . Bunu yaptıktan sonra, hala düzeltilmemiş ortalama kareyle aynı anlamda önyargılı küçük bir örnek .

— Glen_b-Monica'yı eski durumuna döndür
kaynak