Neden her bir bootstrap numunesi ortalama olarak kabaca üçte iki gözlem içeriyor?

Her önyükleme örneğinin (veya torbalı bir ağaç) gözlemlerin ortalama olarak yaklaşık / içereceği iddiasıyla çarpıştım .$2/3$

Ben şansı hiçbirinde seçildiği anlıyoruz dan çizer yerine geçer sahip örneklerin , yaklaşık ortaya eserler seçilen olmamanın şans.$n$$n$$(1- 1/n)^n$$1/3$

Bu formülün her zaman neden verdiğinin matematiksel açıklaması nedir ?$\approx 1/3$

Temel olarak, mesele (ve elbette, e ^ {- 1} = 1 / e \ 1/3 , en azından çok kabaca).$\lim_{n\to\infty}(1- 1/n)^n=e^{-1}$
$e^{-1} =1/e \approx 1/3$

Çok küçük n çalışmaz $n$- örneğin $n=2$ , $(1- 1/n)^n=\frac{1}{4}$ . Bu geçer $\frac{1}{3}$ de $n=6$ geçer, $0.35$ de $n=11$ ve $0.366$ ile $n=99$ . Eğer ötesine kez $n=11$ , $\frac{1}{e}$ daha iyi bir tahmindir $\frac{1}{3}$ .

Gri kesikli çizgi $\frac{1}{3}$ ; kırmızı ve gri çizgi $\frac{1}{e}$ .

Resmi bir türetme (kolayca bulunabilir) göstermek yerine, (biraz) daha genel bir sonucun neden içerdiğine dair bir taslak (sezgisel, el yazısı argümanı) sunacağım:

$$e^x = \lim_{n\to \infty} \left(1 + x/n \right)^n$$

(Pek çok insan bu olabilmek için tanım içinde , ancak gibi basit sonuçlarından ispatlayabilirim tanımlayan kadar .)$\exp(x)$$e$$\lim_{n\to \infty} \left(1 + 1/n \right)^n$

Gerçek 1: Bu, güçler ve üslup etme ile ilgili temel sonuçlardan gelir.$\exp(x/n)^n=\exp(x)\quad$

Gerçek 2: büyük olduğunda, Bu, için seri genişlemesinden gelir .$n$$\exp(x/n) \approx 1+x/n\quad$$e^x$

(Bunların her biri için daha kesin argümanlar verebilirim, ancak onları zaten bildiğinizi varsayıyorum)

(1) içindeki (2) yerine geçin. Bitti. (Daha resmi argüman olarak işe Bunun için iktidara alındığında Fact 2'de kalan terimler bir soruna yol açacak yeterince büyük olmazlar göstermek zorundayız, çünkü bazı işler alacağını . Ama bu sezgi resmi kanıtlardan ziyade.)$n$

[Alternatif olarak, Taylor serisini için birinci dereceye getirin. İkinci bir kolay yaklaşım, in binom genişlemesini almak ve terimin dizisindeki terimleri verdiğini göstermek için terim-terim sınırını almaktır. .]$\exp(x/n)$$\left(1 + x/n \right) ^n$$\exp(x/n)$

Öyleyse , sadece yerine .$e^x = \lim_{n\to \infty} \left(1 + x/n \right) ^n$$x=-1$

Hemen, bu cevabın en üstünde sonucu elde ettik,$\lim_{n\to\infty}(1- 1/n)^n=e^{-1}$

---

Gung yorumlarda işaret ettiği gibi, sorunuzdaki sonuç 632 önyükleme kuralının kökenidir

örneğin görmek

Efron, B. ve R. Tibshirani (1997),
"Çapraz Doğrulamadaki İyileştirmeler: .632+ Önyükleme Yöntemi,"
Amerikan İstatistik Kurumu Dergisi Vol. 92, No. 438. (Jun), sayfa 548-560

Daha kesin olarak, her önyükleme örneği (veya torbalı ağaç), numunenin değerini içerecektir .$1-\frac{1}{e} \approx 0.632$

Bootstrap'ın nasıl çalıştığını gözden geçirelim. Biz özgün bir örnek olan ile içinde öğeler. Biz öğeleri çizmek değiştirme ile biz boyutu başka bir set elde edene kadar bu orijinal kümesinden .$x_1, x_2, \ldots x_n$$n$$n$

Bundan sonra, ilk herhangi bir öğeyi seçme ihtimalinin (örneğin, ) olduğu sonucuna . Bu nedenle, olasılık değil o öğeyi seçmektir . Bu sadece ilk çekiliş için; hepsi bağımsız olan toplam beraberlik vardır, bu yüzden bu eşyayı çekilişlerden hiçbirinde seçmeme olasılığı .$x_1$$\frac{1}{n}$$1 - \frac{1}{n}$$n$$(1-\frac{1}{n})^n$

Şimdi, büyüyüp büyüyünce ne olacağını düşünelim . Normal hesap hilelerini (veya Wolfram Alpha) kullanarak sonsuza doğru giderken sınırını alabiliriz : $n$$n$

$$\lim_{n \rightarrow \infty} \big(1-\frac{1}{n}\big)^n = \frac{1}{e} \approx 0.368$$

Bu bir öğenin olasılık var değil seçilir. Seçtiğiniz öğenin olasılığını bulmak için bir kişiden çıkarın, bu size 0.632 verir.

Değişim ile örnekleme, "başarı" nın seçilmiş bir örnek olduğu binom denemelerinin bir dizisi olarak modellenebilir. örneği orjinal veri kümesi için, "başarı" olasılığı ve "başarısızlık" olasılığı . örneklem büyüklüğü için tam olarak kez bir örnek seçme olasılığı binom dağılımına göre verilir:$n$$1/n$$(n-1)/n$$b$$x$

$$P(x,b,n) = \bigl(\frac{1}{n}\bigr)^{x} \bigl(\frac{n-1}{n}\bigr)^{b-x} {b \choose x}$$

Bir önyükleme örneğinin spesifik durumunda, örneklem büyüklüğü örnek sayısı eşittir . Letting yaklaşım sonsuz elde ederiz:$b$$n$$n$

$$\lim_{n \rightarrow \infty} \bigl(\frac{1}{n}\bigr)^{x} \bigl(\frac{n-1}{n}\bigr)^{n-x} {n \choose x} = \frac{1}{ex!}$$

Eğer orijinal veri setimiz büyükse, bu formülü bir örneğin bir bootstrap örneğinde tam olarak kez seçilme olasılığını hesaplamak için kullanabiliriz . İçin , olasılığıdır , ya da yaklaşık . Bir örneğin en az bir kez örneklenmesi olasılığı, bu nedenle .$x$$x = 0$$1/e$$0.368$$1 - 0.368 = 0.632$

Söylemeye gerek yok, bunu titizlikle kalem ve kağıt kullanarak türetmiştim ve Wolfram Alpha kullanmayı bile düşünmedim.

Sadece @ retsreg'in cevabına ekleyerek bu, R'deki sayısal simülasyonla oldukça kolay bir şekilde gösterilebilir:

N <- 1e7 # number of instances and sample size
bootstrap <- sample(c(1:N), N, replace = TRUE)
round((length(unique(bootstrap))) / N, 3)
## [1] 0.632

Bu sayılarak kolayca görülebilir. Kaç tane olası örnek var? n ^ n. Belirli bir değer içeren kaç tane NOT? (N-1) ^ n. Bir numunenin belirli bir değere sahip olma olasılığı - (1-1 / n) ^ n, sınırın yaklaşık 1 / 3'üdür.