Önyükleme, tahmin edicinin örnekleme dağılımını yaklaşık olarak ne kadar gösterir?

Son zamanlarda bootstrap okuduktan sonra, beni hala şaşırtan kavramsal bir soru buldum:

Bir popülasyonunuz var ve popülasyonu temsil etmek için kullandığım bir popülasyon niteliğini, yani bilmek istiyorsunuz . Bu örneğin nüfus ortalama olabilir. Genellikle popülasyondaki tüm verileri alamazsınız. Böylece popülasyonundan büyüklüğünde bir örneği çizersiniz. Diyelim ki sadelik için örnek kimliğiniz var. Sonra senin tahmincisi elde . Kullanmak istediğiniz ilgili çıkarımlar yapmak için sen $\theta=g(P)$ $P$ $\theta$ $X$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\theta$ $\hat{\theta}$ .

İlk olarak, bir orada gerçek örnek dağılımı . Kavramsal olarak, popülasyondan birçok örnek (her biri büyüklüğü vardır ) çizebilirsiniz . Her zaman bir gerçekleşme olacaktır farklı bir örnek olacak her zamanı göstermektedir. Sonra sonunda, kurtarmak mümkün olacak gerçek dağılımını . Tamam, en azından bu dağılımı tahmini için kavramsal bir ölçüttür . Yeniden ifade etmeme izin verin: nihai amaç, gerçek dağılımını tahmin etmek veya tahmin etmek için çeşitli yöntemler kullanmaktır . $\hat{\theta}$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\hat{\theta}$ . $\hat{\theta}$

Şimdi, işte soru geliyor. Genellikle, veri noktası içeren yalnızca bir örneğiniz olur . Sonra bu örnek birçok kez gelen resample ve bir önyükleme dağılımı ile gelecek . Sorum şu: yakın bu önyükleme dağıtım ne kadar doğrudur örnekleme dağılımının ? Bunu ölçmenin bir yolu var mı? $X$ $N$ $\hat{\theta}$ $\hat{\theta}$

bootstrap simulation resampling

— KevinKim
kaynak

Bu yüksek oranda ilişkili soru , bu soruyu muhtemelen bir yineleme yapma noktasına kadar ek bilgi hazinesi içermektedir.

— Xi'an,

Öncelikle, sorularıma hemen cevap verdiğiniz için hepinize teşekkür ederim. Bu web sitesini ilk defa kullanıyorum. Sorumun kimsenin dikkatini dürüstçe çekeceğini asla beklemedim. Burada küçük bir sorum var, 'OP' nedir? @ Silverfish

— KevinKim

@Chen Jin: "OP" = orijinal poster (yani siz!). Kabul ettiğim bir kısaltmanın kullanımı için özür dilemek potansiyel olarak kafa karıştırıcıdır.

— Silverfish

Daha yakından ifadenizi eşleşecek şekilde ben başlık düzenledikten "Sorum şu: yakın gerçek dağılımına Bunun ne kadar

? Nicelik olarak ifade bir yolu var mı?" Düzenlememin niyetinizi yansıttığını düşünmüyorsanız geri almaktan çekinmeyin.

\hat{θ}

$\hat\theta$

— Silverfish,

@Silverfish Çok teşekkürler. Bu posteri başlattığımda, sorum hakkında gerçekten emin değilim. Bu yeni başlık iyi.

— KevinKim

Yanıtlar:

Bilgi Teorisinde bir dağılımın diğerine ne kadar "yakın" olduğunu ölçmenin tipik yolu KL-diverjansı kullanmaktır.

Çok eğriltilmiş uzun kuyruklu bir veri kümesiyle göstermeye çalışalım - Houston havaalanına uçak varışlarında gecikmeler ( hflights paketinden). Let ortalama tahmincisi olması. İlk olarak, örnekleme dağılımını bulmak ve daha sonra önyükleme dağılımını $\hat \theta$ $\hat \theta$ $\hat \theta$

İşte veri kümesi:

görüntü tanımını buraya girin

Gerçek ortalama 7.09 dk.

İlk olarak, örnekleme dağılımı elde etmek örneklerin belirli sayıda yapmak $\hat \theta$ o zaman bir örnek almak ve birçok önyükleme numuneleri almak.

Örneğin, örneklem büyüklüğü 100 ve 5000 tekrar olan iki dağıtıma bir göz atalım. Görsel olarak bu dağılımların birbirinden ayrı olduğunu ve KL'nin ayrılmasının 0,48 olduğunu görüyoruz.

görüntü tanımını buraya girin

Ancak, örneklem büyüklüğünü 1000'e çıkardığımızda, birleşmeye başlarlar (KL sapması 0,11)

görüntü tanımını buraya girin

Ve örneklem büyüklüğü 5000 olduğunda, çok yakındırlar (KL ayrışması 0.01'dir)

görüntü tanımını buraya girin

Bu, elbette, o kadar hangi önyükleme numune bağlıdır, ama KL sapma biz örnek boyutunu artırmak ve böylece önyükleme dağılımı olarak iner görebilirsiniz inanıyoruz numune dağıtımı yaklaşımlar $\hat \theta$ $\hat \theta$ KL Divergence açısından. Emin olmak için birkaç önyükleme yapmayı deneyebilir ve KL farklılığının ortalamasını alabilirsiniz.

İşte bu deneyin R kodu: https://gist.github.com/alexeygrigorev/0b97794aea78eee9d794

— Alexey Grigorev
kaynak

+ 1 ve bu aynı zamanda verilen herhangi bir örneklem büyüklüğü için (örneğin 100 gibi) çizme önyargısının büyük ve kaçınılmaz olabileceğini göstermektedir.

— amip diyor Reinstate Monica

Bu harika! Yani dağılımını izin için

yakın DOĞRU dağıtımına olmak bootstrap gelen

, biz büyük örneklem büyüklüğü ihtiyaç

hakkını? Herhangi bir sabit örneklem büyüklüğü için, başlangıç bandından üretilen dağılım @ amoeba tarafından belirtilen TRUE dağılımından çok farklı olabilir.

\hat{θ}

$\hat{\theta}$

\hat{θ}

$\hat{\theta}$

N

$N$

— KevinKim

Bir sonraki sorum şudur: Eğer

yeterince büyük tutarsam, 2 önyükleme yaptım, biri sadece

kez yeniden, diğeri de

. Dağılımı arasındaki fark nedir

bu 2 göbeğini çıkan? Düzeltmeye Bu soru aslında soruyor

oynadığı rol nedir,

dağılımını oluşturmada

. @Grigorev

N

$N$

B = 10

$B=10$

B = 10000

$B=10000$

\hat{θ}

$\hat{\theta}$

N

$N$

B

$B$

\hat{θ}

$\hat{\theta}$

— KevinKim

@Chen ancak dağıtım ait

sen resamples, hakkını yaparak almanızı şeydir? Dolayısıyla,

arasındaki fark, bir durumda dağıtımınızı oluşturmak için

sayı almanızdır (çok fazla bilgi

standart sapma için çok güvenilir bir tahmin değil) ve diğer durumda

sayı (çok daha fazla) dürüst).

\hat{θ}

$\hat \theta$

B = 10

$B=10$

B = 10000

$B=10000$

10

$10$

\Rightarrow

$\Rightarrow$

10000

$10000$

— amip diyor Reinstate Monica

@Chen, sana biraz ya karışık ya da ne hakkında çok açık olmayan düşünüyorum

yorumunuzda olması gerekiyordu.

kez yeniden örnek alırsanız,

sayı kümesi alırsınız . Bu nasıl bir dağıtım? Bu bir sayılar kümesidir! Bu sayılar

dağılımı denilen şeyden geliyor . Ne kadar çok sayı alırsanız,

o kadar iyi tahmin edebilirsiniz .

F_{5}

$F_5$

5

$5$

5

$5$

F_{B}

$F_B$

F_{B}

$F_B$

— amip diyor Reinstate Monica

doğrudur CDF ampirik CDF yakınsaması dayanmaktadır yakınlaşıyor(aynı sonsuza gider)için her için . Bu nedenle bootstrap dağılımının yakınsama bir hızda gerçekleşir, bu yakınsama ile tahrik edilir

{\hat{F}}_{n} (x) = \frac{1}{n} \sum_{i = 1}^{n} I_{X_{i} \leq x} X_{i} \overset{iid}{\sim} F (x)

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)$ $n$

F (x)

$F(x)$

x

$x$

\hat{θ} (X_{1}, \dots, X_{n}) = g ({\hat{F}}_{n})

$\hat{\theta}(X_1,\ldots,X_n)=g(\hat{F}_n)$

içinher bir

, çünkü

\sqrt{n}

$\sqrt{n}$

x

$x$

da bu oran da otomatik transfer etmez dağılımını sınırlayıcı

. Uygulamada, yaklaştırma değişkenliği belirlemek için, dağılım, bir ön yükleme değerlendirme üretebilir

\sqrt{n} {{\hat{F}}_{n} (x) - F (x)} \overset{dist}{⟶} N (0, F (x) [1 - F (x)])

$\sqrt{n}\{\hat{F}_n(x)-F(x)\}\stackrel{\text{dist}}{\longrightarrow}\mathsf{N}(0,F(x)[1-F(x)])$

g ({\hat{F}}_{n})

$g(\hat{F}_n)$

g ({\hat{F}}_{n})

$g(\hat{F}_n)$ çift önyükleme ile, yani önyükleme önyükleme değerlendirmelerini önyükleme yoluyla.

enter image description here $F$ $\hat{F}_n$ for $n=100$ observations and the rhs plots $250$ replicas of the lhs, for 250 different samples, in order to measure the variability of the cdf approximation. In the example I know the truth and hence I can simulate from the truth to evaluate the variability. In a realistic situation, I do not know $F$ and hence I have to start from $\hat{F}_n$ instead to produce a similar graph.

Further update: Here is what the tube picture looks like when starting from the empirical cdf: enter image description here

— Xi'an
kaynak

The crux of this answer is that the bootstrap works because it is a large-sample approximation. I don't think this point is emphasized enough

— shadowtalker

I mean, "emphasized often enough in general"

— shadowtalker

@Xi'an Thanks a lot. I like the last 2 panels, so in this example, let's pretend we don't know the true cdf, i.e. the red curve on the lhs, I just have the empirical cdf

\hat{F}

$\hat{F}$ from one sample of

n = 100

$n=100$ . Then I do resampling from this sample. Then I produce a similar graph as the rhs. Will this new graph has a wider tube than the current tube on your current rhs figure? And will the new tube still centered around the true cdf, i.e. the red curve as the tube on you current rhs figure?

— KevinKim

The tube produced by creating empirical cdfs based on samples created from one empirical cdf is eventually less wide than the one produced from the true

F

$F$ as we are always using the same

n

$n$ datapoints. And the new tube is centred around the empirical cdf, not the true

F

$F$ . There is thus bias in scale and location for that tube.

— Xi'an

@Xi'an Very nice! it would be even nicer if the 2nd and 3rd figure can be combined together in one figure

— KevinKim