Örnek medyanlar için merkezi limit teoremi

Aynı dağılımdan çizilen yeterince fazla sayıda gözlemin ortancasını hesaplarsam, merkezi limit teoremi medyanların dağılımının normal bir dağılıma yaklaşacağını belirtir mi? Anladığım kadarıyla, bu çok sayıda örneklem aracıyla doğru, ancak medyanlar için de doğru mu?

Değilse, örnek medyanların altında yatan dağılım nedir?

Gösterge değişkenleri açısından çalışıyorsanız (yani, eğer ve ise ), Merkezi limit teoremini doğrudan nin ortalamalarına uygulayabilir ve Delta yöntemini kullanarak bunu bir için asimptotik normal dağılım , bu da sabit miktarları için asimptotik normallik elde edeceğiniz anlamına gelir .$Z_i = 1$$X_i \leq x$$0$$Z$F - 1 X ( ˉ Z ) X$F_X^{-1}(\bar{Z})$$X$

Yani sadece medyan değil, çeyrek var, 90ncı yüzdelik, vb.

Gevşek, Bahsettiğimiz eğer yeterince büyük numunelerde numune persantil inci, biz demek ile yaklaşık normal bir dağılıma sahip olacağı olsun nüfus quantile inci ve varyans .$q$$q$$x_q$$q(1-q)/(nf_X(x_q)^2)$

Bu nedenle, medyan ( ) için, yeterince büyük numunelerdeki varyans yaklaşık .$q = 1/2$$1/(4nf_X(\tilde{\mu})^2)$

Elbette, yol boyunca tüm koşullara ihtiyacınız var, elbette, bu her durumda işe yaramaz, ancak popülasyondaki niceliksel yoğunluğun pozitif ve farklı olduğu, sürekli dağılımlar, vb.

Dahası, aşırı nicelikler için geçerli değildir, çünkü CLT orada tekme atmaz (Z ortalamaları asimptotik olarak normal olmaz). Aşırı değerler için farklı teoriye ihtiyacınız var.

---

Düzenleme: whuber eleştirisi doğru; , örnek bir medyandan ziyade bir popülasyon medyanı olsaydı bu işe yarardı. Argümanın gerçekten düzgün çalışması için değiştirilmesi gerekiyor.$x$

Anahtar fikir, medyanın örnekleme dağılımının, dağılım fonksiyonu açısından ifade etmenin basit olduğu, ancak medyan değeri açısından ifade etmek için daha karmaşık olduğu yönündedir. Dağılım fonksiyonunun değerleri nasıl tekrar ifade edip tekrar ifade edebileceğini anladığımızda , medyanın tam örnekleme dağılımını elde etmek kolaydır . Bunun asimptotik Normal olduğunu göstermek için dağılım fonksiyonunun medyanına yakın davranışının küçük bir analizine ihtiyaç vardır.

(Aynı analiz, yalnızca medyan için değil, herhangi bir miktarın örnekleme dağılımı için de geçerlidir.)

Bu fuarda titiz olmak için hiçbir girişimde bulunmayacağım, ancak bunu yapacak bir aklınız varsa, kolayca titizlikle haklı çıkarılan adımlar atıyorum.

---

Sezgi

Bunlar, 70 atomluk bir sıcak atom gazı içeren bir kutunun anlık görüntüleridir:

Her görüntüde kırmızı bir dikey çizgi olarak gösterilen, atomları sol (siyah noktalar olarak çizilir) ve sağ (beyaz noktalar) arasında iki eşit gruba bölen bir konum buldum. Bu , konumların medyanıdır : Atomların 35'i sola, 35'i sağa doğru uzanır. Medyanlar değişiyor çünkü atomlar kutunun etrafında rastgele hareket ediyor.

Bu orta pozisyonun dağılımı ile ilgileniyoruz. Böyle bir soru prosedürümü tersine çevirerek cevaplanır: haydi önce bir yerde dikey bir çizgi çizelim, diyelim ki . Atomların yarısının x'in solunda, yarısının da sağında olma ihtimali nedir ? Soldaki atomların bireysel olarak solda x olma şansı vardı . Sağdaki atomların bireysel olarak 1 - x sağda olma şansı vardı . Konumlarının istatistiksel olarak bağımsız olduğunu varsayarsak, şanslar artar ve x 35 ( 1 - x ) $x$$x$$x$$1-x$$x^{35}(1-x)^{35}$Bu özel yapılandırma şansı için. atomun farklı iki 35 parçaya bölünmesi için eşdeğer bir konfigürasyon elde edilebilir . Bu sayıları olası tüm bölmelere eklemek,$70$$35$

$${\Pr}(x\text{ is a median}) = C x^{n/2} (1-x)^{n/2}$$

burada , toplam atom sayısıdır ve , atomunun bölünme sayısıyla iki eşit alt gruba orantılıdır .C $n$$C$$n$

Bu formül medyanın dağılımını bir Beta dağılımı$(n/2+1, n/2+1)$ olarak tanımlar .

Şimdi daha karmaşık bir şekle sahip bir kutu düşünün:

Bir kez daha medyanlar değişir. Kutu merkezin yakınında düşük olduğundan, buradaki hacminin büyük kısmı yoktur: atomların sol yarısı tarafından işgal edilen hacmindeki küçük bir değişiklik (siyahlar bir kez daha) - ya da kabul edebiliriz ki, bu şekillerde gösterildiği gibi sola kalan alan - medyanın yatay pozisyonunda nispeten büyük bir değişime karşılık gelir . Aslında, kutunun küçük bir yatay bölümünün çıkardığı alan , oradaki yükseklikle orantılı olduğundan, medyanlardaki değişiklikler kutunun yüksekliğine bölünür . Bu, medyanın bu kutu için kare kutudan daha değişken olmasına neden olur, çünkü bu ortada çok daha düşüktür.

Kısacası, medyanın alan (sol ve sağ) yönündeki konumunu ölçtüğümüzde, orijinal analiz (bir kare kutu için) değişmeden durmaktadır. Kutunun şekli sadece medyanı yatay pozisyonu açısından ölçmekte ısrar edersek dağılımı zorlaştırır. Bunu yaptığımızda, alan ve konum gösterimi arasındaki ilişki kutunun yüksekliğiyle ters orantılıdır.

Bu resimlerden öğrenilecek daha çok şey var. Birkaç atomun (her iki) kutusunda olduğu zaman, bunların yarısının her iki tarafa da yanlışlıkla kümelenmiş olma ihtimalinin daha yüksek olduğu açıktır. Atom sayısı arttıkça, bu tür aşırı dengesizlik potansiyeli azalır. Bunu izlemek için "filmler" aldım - 5000 kare uzunluğunda bir dizi - , sonra , sonra ve son olarak atom içeren kavisli kutu için ve medyanları not aldım. İşte ortanca pozisyonların histogramları:15 75 $3$$15$$75$$375$

Açıkçası, yeterince büyük sayıda atom için, ortanca konumlarının dağılımı çan şeklinde görünmeye başlar ve daralır. Bu, Merkezi Sınır Teoremi sonucuna benziyor, değil mi?

---

Nicel Sonuçlar

Elbette "kutu", bazı dağılımların olasılık yoğunluğunu gösterir: üst kısım, yoğunluk fonksiyonunun grafiğidir (PDF). Böylece alanlar olasılıkları temsil eder. Yerleştirme bir kutu içerisinde rasgele olarak ve bağımsız noktaları ve yatay pozisyonlannın izlenmesi dağılımından bir örnek almak için bir yoldur. (Bu, ret örneklemesinin arkasındaki fikirdür. )$n$

Bir sonraki rakam bu fikirleri birleştiriyor.

Bu karmaşık görünüyor, ama gerçekten oldukça basit. Burada dört ilgili parsel var:

1. Üstteki grafik, bir dağılımın PDF'sini ve . Ortancadan daha büyük değerler beyaz noktalar olarak gösterilir; ortancadan daha küçük değerleri siyah noktalar olarak gösterir. Dikey bir skalaya ihtiyaç duymaz, çünkü toplam alanın birlik olduğunu biliyoruz.$n$

2. Ortadaki grafik aynı dağıtım için kümülatif dağılım işlevidir: olasılığı belirtmek için yükseklik kullanır . Yatay eksenini ilk arsa ile paylaşır. Onun dikey eksen gitmelisiniz kadar olasılıkları temsil ettiği.$0$$1$

3. Sol arsa yanlardan okunacak şekilde yazılmıştır: Beta dağılımının PDF'sidir. Kutudaki ortancanın nasıl değişeceğini gösterir (ortanca solun ortasındaki ve sağındaki alanlar açısından ölçüldüğünde) (yatay pozisyonuyla ölçülmek yerine). Gösterildiği gibi bu PDF'den rastgele nokta çizdim ve bunları yatay kesik çizgilerle orijinal CDF'deki ilgili yerlere bağladım: hacimler (solda ölçülen) konumlara dönüştürülür (üstte, merkez boyunca ölçülür) ve alt grafikler). Bu noktalardan biri aslında üst arsada gösterilen ortancaya karşılık gelir; Bunu göstermek için sağlam bir dikey çizgi çizdim.$(n/2+1, n/2+1)$$16$

4. Alt çizim yatay konumuyla ölçülen medyanın örnekleme yoğunluğudur . Alanın (sol arsadaki) pozisyonuna dönüştürülmesi ile elde edilir. Dönüşüm formülü, orijinal CDF'nin tersi ile verilir: bu sadece ters CDF'nin tanımıdır ! (Başka bir deyişle, CDF pozisyonu sola alana çevirir; ters CDF alandan pozisyona geri döner.) Sol arsadan rastgele noktaların alt arsa içindeki rasgele noktalara nasıl dönüştürüldüğünü gösteren dikey kesikli çizgiler çizdim. . Bu aşağı ve yukarı okuma işlemi bize bölgeden pozisyona nasıl geçeceğimizi anlatır.

Let orijinal dağılımının CDF (orta arsa) ve olmayacak Beta dağılımının CDF. Medyanın konumunun solunda kalma şansını bulmak için , önce kutusunun solundaki alanı elde etmek için kullanın : bu kendisidir. Soldaki Beta dağılımı bize atomların yarısının bu hacim içinde uzanma şansını veriyor, veriyor : bu medyan pozisyonunun CDF'si . PDF'sini bulmak için (alt kısımda gösterildiği gibi), türevi alın:G x F x F ( x ) G ( F ( x ) $F$$G$$x$$F$$x$$F(x)$$G(F(x))$

$$\frac{d}{dx}G(F(x)) = G'(F(x))F'(x) = g(F(x))f(x)$$

burada PDF (en üstteki grafik) ve ise Beta PDF'dir (soldaki grafik).$f$$g$

Bu, sürekli dağılım için ortanca dağılımı için kesin bir formüldür . (Yorumlamadaki bir miktar dikkat ile, sürekli olsun ya da olmasın, herhangi bir dağıtıma uygulanabilir.)

---

Asimptotik Sonuçlar

Ne zaman çok büyük ve onun ortanca bir sıçrama yok, örnek medyan gerçek medyan etrafında yakından değişir gerekir dağılımının. Ayrıca PDF varsayarak yakınındaki sürekli , , önceki formül onun değerinden fazla değişmez olarak verilen Üstelik, orada da değerinden fazla bir şey değişmeyecek: birinci dereceye,F μ f μ f ( x ) μ , f ( μ ) . $n$$F$$\mu$$f$$\mu$ $f(x)$$\mu,$$f(\mu).$$F$

$$F(x) = F\left(\mu + (x-\mu)\right) \approx F(\mu) + F^\prime(\mu)(x-\mu) = 1/2 + f(\mu)(x-\mu).$$

Böylece, büyüdükçe sürekli gelişen bir yaklaşımla ,$n$

$$g(F(x))f(x) \approx g\left(1/2 + f(\mu)(x-\mu)\right) f(\mu).$$

Bu yalnızca Beta dağılımının yeri ve ölçeğinin bir kaymasıdır. yeniden ölçeklendirme , varyansını (ki daha iyi olmasa da!) İle böler . Bu arada, Beta varyansı çok yakındır .f ( μ ) 2 ( n / 2 + 1 , n / 2 + 1 ) n /$f(\mu)$$f(\mu)^2$$(n/2+1, n/2+1)$$n/4$

Bu analiz Delta Metodunun bir uygulaması olarak görülebilir .

Son olarak, Beta büyük için yaklaşık Normaldir . Bunu görmenin birçok yolu var; belki de en basit olanı, PDF'nin logaritmasına yakınına bakmaktır :n, 1 /$(n/2+1, n/2+1)$$n$$1/2$

$$\log\left(C(1/2 + x)^{n/2}(1/2-x)^{n/2}\right) = \frac{n}{2}\log\left(1-4x^2\right) + C' = C'-2nx^2 +O(x^4).$$

( ve sabitleri yalnızca toplam alanı birliğe göre normalleştirir.) üçüncü sırasına göre , bu, varyanslı Normal PDF günlüğüyle aynıdır (Bu argüman, PDF günlüğü yerine karakteristik veya biriktirici işlevler kullanarak titizlikle yapılır.)$C$$C'$$x,$$1/(4n).$

Bunu bir araya getirmekle, sonucuna varırız.

• Örnek medyan dağılımı yaklaşık olarak ,$1/(4 n f(\mu)^2)$

• ve büyük yaklaşık Normal ,$n$

• Tüm PDF sağlanan medyan de sürekli ve sıfırdan farklıdır$f$$\mu.$

@EngrStudent aydınlatıcı cevap bize , dağıtım sürekli olduğunda ve ayrık olduğunda ("kırmızı" grafikler, örnek medyanının asimptotik dağılımının normal gibi görünmek için başarısız olduğu, dağılımlara karşılık geldiği durumlarda farklı sonuçlar beklememiz gerektiğini söyler.) (3), Geometrik (11), Hipergeometrik (12), Negatif Binom (14), Poisson (18), Ayrık Üniforma (22).

Ve gerçekten de durum bu. Dağıtım ayrık olduğunda işler karmaşıklaşır. Kesinlikle Sürekli Dava için bir kanıt sunacağım, esasen @Glen_b tarafından verilen cevabı ayrıntılandırmaktan başka bir şey yapmamak, ve daha sonra, dalış ayrık olduğunda, dalışla ilgilenen herkes için yeni bir referans sağlayan biraz tartışacağım. içinde.

KESİNLİKLE SÜREKLİ DAĞITIM
iid mutlak sürekli rasgele değişkenlerin bir koleksiyon düşünün $\{X_1,...X_n\}$ dağılım fonksiyonu (cdf) $F_X(x) = P(X_i\le x)$ ve yoğunluk fonksiyonu $F'_X(x)=f_X(x)$ . Tanımla $Z_i\equiv I\{X_i\le x\}$ Burada$I\{\}$ göstergesi fonksiyonudur. Bu nedenle$Z_i$ ile, bir Bernoulli rv olan

$$E(Z_i) = E\left(I\{X_i\le x\}\right) = P(X_i\le x)=F_X(x),\;\; \text{Var}(Z_i) = F_X(x)[1-F_X(x)],\;\; \forall i$$

Let $Y_n(x)$ , bu istatistiksel bağımsız Bernoullis numune ortalaması olarak, sabit, tanımlanmış $x$ olarak

$$Y_n(x) = \frac 1n\sum_{i=1}^nZ_i$$ , yani $$E[Y_n(x)] = F_X(x),\;\; \text{Var}(Y_n(x)) = (1/n)F_X(x)[1-F_X(x)]$$ Merkezi Limit Teoremi uygulanır ve

$$\sqrt n\Big(Y_n(x) - F_X(x)\Big) \rightarrow_d \mathbb N\left(0,F_X(x)[1-F_X(x)]\right)$$

Not $Y_n(x) = \hat F_n(x)$ örneğin, sigara deneysel dağılım fonksiyonu daha başka bir. "Delta Metodu" uygulanarak, $g(t)$ sıfır olmayan türevli $g'(t)$ sürekli ve farklılaşan bir fonksiyon için, ilgilenilen noktada,

$$\sqrt n\Big(g[\hat F_n(x)] - g[F_X(x)]\Big) \rightarrow_d \mathbb N\left(0,F_X(x)[1-F_X(x)]\cdot\left(g'[F_X(x)]\right)^2\right)$$

Şimdi, $g(t) \equiv F^{-1}_X(t),\;\; t\in (0,1)$ burada - 1 ters işlevi gösterir. Bu sürekli ve farklı bir fonksiyondur ( F X ( x ) olduğundan) ve Ters Fonksiyon Teoremi ile$^{-1}$$F_X(x)$

$$g'(t)=\frac {d}{dt}F^{-1}_X(t) = \frac 1{f_x\left(F^{-1}_X(t)\right)}$$

Bu sonuçları, elde ettiğimiz delta yöntemiyle elde edilen asimptotik sonuçta $g$ eklemek.

$$\sqrt n\Big(F^{-1}_X(\hat F_n(x)) - F^{-1}_X(F_X(x))\Big) \rightarrow_d \mathbb N\left(0,\frac {F_X(x)[1-F_X(x)]}{\left[f_x\left(F^{-1}_X(F_X(x))\right)\right]^2} \right)$$

ve basitleştirerek,

$$\sqrt n\Big(F^{-1}_X(\hat F_n(x)) - x\Big) \rightarrow_d \mathbb N\left(0,\frac {F_X(x)[1-F_X(x)]}{\left[f_x(x)\right]^2} \right)$$

.. herhangi bir sabit $x$ . Şimdi , $x=m$ , popülasyonun (gerçek) medyanı ayarlayın. Daha sonra biz $F_X(m) = 1/2$ ve yukarıdaki genel sonucu çıkar eden bir durum için, olur,

$$\sqrt n\Big(F^{-1}_X(\hat F_n(m)) - m\Big) \rightarrow_d \mathbb N\left(0,\frac {1}{\left[2f_x(m)\right]^2} \right)$$

Ancak $F^{-1}_X(\hat F_n(m))$ örnek medyan yakınsadığı m . Bunun nedeni ise$\hat m$

$$F^{-1}_X(\hat F_n(m)) = \inf\{x : F_X(x) \geq \hat F_n(m)\} = \inf\{x : F_X(x) \geq \frac 1n \sum_{i=1}^n I\{X_i\leq m\}\}$$

Eşitsizlik sağ taraftaki yakınsar $1/2$ ve en küçük $x$ olan sonunda için $F_X \geq 1/2$ , örnek medyan.

Yani elde

$$\sqrt n\Big(\hat m - m\Big) \rightarrow_d \mathbb N\left(0,\frac {1}{\left[2f_x(m)\right]^2} \right)$$ kesinlikle sürekli dağılımlar için örnek medyan için Merkezi Limit Teoremidir.

KESİKLİ DAĞITIMLAR
Dağılımın kesikli olduğu durumlarda (veya örnek bağlar içerdiğinde) , örnek kuantillerin "klasik" tanımının ve dolayısıyla medyanın da, teorik kavram olarak ilk etapta yanıltıcı olabileceği iddia edilmiştir. bir miktarın nicel olarak ölçmeye çalıştığı şeyi ölçmek için kullanılır.
Her halükarda, bu klasik tanım altında (hepimizin bildiği gibi), örnek medyanın asimptotik dağılımının normal olmadığı ve ayrık bir dağılım olduğu simüle edilmiştir.

Örnek niceliklerin alternatif bir tanımı, olarak tanımlanan "orta dağıtım" işlevi kavramını kullanmaktır.

$$F_{mid}(x) = P(X\le x) - \frac 12P(X=x)$$

Örnek dağılımlarının orta-dağıtım fonksiyonu aracılığıyla tanımlanması, sürekli dağılımları özel durumlar olarak da kapsayabilecek bir genelleme olarak görülebilir, aynı zamanda sürekli olmayanları da kapsayabilir.

Kesikli dağılımlar için, diğer sonuçların yanı sıra, bu kavram ile tanımlanan örnek ortancanın, ayrıntılı görünümlü bir varyansa sahip, asimptotik olarak normal bir dağılıma sahip olduğu bulunmuştur.

Bunların çoğu son sonuçlar. Referans Ma, Y., Genton, MG ve Parzen, E. (2011). Kesikli dağılımların örnek niceliklerinin asimptotik özellikleri. İstatistiksel Matematik Enstitüsü Yıllıkları, 63 (2), 227-243. Bir kimse bir tartışma bulabilir ve ilgili eski literatüre bağlar.

Evet, ve sadece medyan için değil, herhangi bir örnek kuantil için. Kopyalama Bu yazıda TS Ferguson, UCLA profesörü (onun sayfası tarafından yazılmış, burada ilginç numunenin ortalama ve örnek quantiles ortak dağılımı ile ilgilenen), elimizde:

$X_1, . . . ,X_n$$F(x)$$f(x)$$\mu$$\sigma^2$$0 < p < 1$$x_p$$p$$F$$F(x_p) = p$$f(x)$$x_p$$Y_n = X_{(n:\lceil np\rceil)}$$p$

$$\sqrt n(Y_n − x_p) \xrightarrow{d} N(0, p(1 − p)/(f(x_p))^2)$$

$p=1/2 \Rightarrow x_p=m$

$$\sqrt n(Y_n − m) \xrightarrow{d} N\left(0, [2f(m)]^{-2}\right)$$

Glen_b tarafından verilen analitik cevabı seviyorum. Güzel bir cevap.

Bir resme ihtiyacı var. Resimleri severim

İşte soruya cevap olarak esneklik alanları:

• Dünyada çok fazla dağıtım var. Kilometre değişebilir.
• Yeterli farklı anlamları vardır. Bir teoriye karşı bir örnek için, bazen "yeterli" nin karşılanması için tek bir sayaç örneği gerekir. Binom belirsizliği kullanan düşük hata oranlarının gösterilmesi için yüzlerce veya binlerce örnek gerekebilir.

Standart bir normal için aşağıdaki MatLab kodunu kullandım:

mysamples=1000;

loops=10000;

y1=median(normrnd(0,1,mysamples,loops));

cdfplot(y1)

ve çıktı olarak şu arsa aldım:

Öyleyse neden prob-araziler (düz çizginin çok normal olduğu anlamına gelir) kullanılması dışında diğer 22 ya da öylesine “yerleşik” dağıtımlar için bunu yapmıyorsunuz?

Ve işte bunun için kaynak kodu:

mysamples=1000;

loops=600;

y=zeros(loops,23);

y(:,1)=median(random('Normal', 0,1,mysamples,loops));

y(:,2)=median(random('beta', 5,0.2,mysamples,loops));
y(:,3)=median(random('bino', 10,0.5,mysamples,loops));
y(:,4)=median(random('chi2', 10,mysamples,loops));
y(:,5)=median(random('exp', 700,mysamples,loops));

y(:,6)=median(random('ev', 700,mysamples,loops));
y(:,7)=median(random('f', 5,3,mysamples,loops));
y(:,8)=median(random('gam', 10,5,mysamples,loops));
y(:,9)=median(random('gev', 0.24, 1.17, 5.8,mysamples,loops));
y(:,10)=median(random('gp', 0.12, 0.81,mysamples,loops));

y(:,11)=median(random('geo', 0.03,mysamples,loops));
y(:,12)=median(random('hyge', 1000,50,20,mysamples,loops));
y(:,13)=median(random('logn', log(20000),1.0,mysamples,loops));
y(:,14)=median(random('nbin', 2,0.11,mysamples,loops));
y(:,15)=median(random('ncf', 5,20,10,mysamples,loops));

y(:,16)=median(random('nct', 10,1,mysamples,loops));
y(:,17)=median(random('ncx2', 4,2,mysamples,loops));
y(:,18)=median(random('poiss', 5,mysamples,loops));
y(:,19)=median(random('rayl', 0.5,mysamples,loops));
y(:,20)=median(random('t', 5,mysamples,loops));

y(:,21)=median(random('unif',0,1,mysamples,loops));
y(:,22)=median(random('unid', 5,mysamples,loops));
y(:,23)=median(random('wbl', 0.5,2,mysamples,loops));


figure(1); clf
hold on

for i=2:23
    subplot(4,6,i-1)

    probplot(y(:,i))
    title(['Probplot of ' num2str(i)])
    axis tight

    if not(isempty(find(i==[3,11,12,14,18,22])))
        set(gca,'Color','r')
    end

end

Analitik kanıtı gördüğümde, "teoride hepsi uygun olabilir" diye düşünebilirim, ancak denemeye başladığımda, "bunun çok iyi çalışmadığı, genellikle kesikli veya çok kısıtlı davranan bir takım yolların olduğunu" söyleyebilirim. değerler "ve bu da teoriyi paraya mal olan herhangi bir şeye uygulamak konusunda daha dikkatli olmamı sağlayabilir.

İyi şanslar.