Bootstrap örneğinin ortalaması ve örneğin istatistiği

Stastitic (örn. Ortalama) için bu örnekten bir örnek ve bootstrap örneğim olduğunu varsayalım . Hepimizin bildiği gibi, bu önyükleme örneği istatistiğin tahmincisinin örnekleme dağılımını tahmin eder . $\chi$

Şimdi, bu bootstrap örneğinin ortalaması popülasyon istatistiği için orijinal örneğin istatistiğinden daha iyi bir tahmin midir? Hangi koşullarda böyle olur?

estimation bootstrap

— Amelio Vazquez-Reina
kaynak

Önyükleme numunenin ortalaması olan numunenin ortalaması ve bu durumda bir önyükleme örneği gerekmez.

— Xi'an

Teşekkürler @ Xi'an Takip ettiğimden emin değilim. Bootstrap numunesinin ortalaması sayısal olarak numunenin ortalamasından farklı olabilir. İkisinin hala teorik olarak eşdeğer olduğunu söylemeye mi çalışıyorsunuz? Her iki uçta da onaylayabilir misiniz?

— Amelio Vazquez-Reina

Terminolojimizi açıklığa kavuşturalım: "bootstrap örneği", verilerden değiştirilen belirli bir örneği ifade edebilir veya böyle bir örneğin bir gerçekleştirme olarak kabul edileceği (çok değişkenli) rastgele bir değişkeni ifade edebilir. Bir gerçekleşmenin ortalamasının verilerin ortalamasından farklı olabileceği konusunda haklısınız, ancak @ Xi'an, rastgele değişkenin ortalamasının (tanım olarak popülasyon ortalamasının bootstrap tahmini olduğu ) çakışması gerektiği konusunda daha ilgili bir gözlem sağlar. verinin ortalaması ile.

— whuber

O zaman sorunuz neredeyse stats.stackexchange.com/questions/126633/… ile aynıdır ; tek fark, bootstrap örnek gerçekleşmelerinin çakışabilmesidir, ancak cevapta verilen analiz aynı sonuçla bootstrap durumuna kolayca taşınabilir.

— whuber

Ben @stuber bağlantısını görüyorum, ancak bootstrap'ta bir "yedek alt kümeler" var ve söylediğiniz gibi gerçekleşmeler çakışabilir. Önyüklemede yeniden örnekleri almak için kullanılan dağılımın (örneğin, yalancılık), aynı zamanda önyükleme örneğindeki tahminin yanlılığını da etkileyebileceğini hayal ediyorum. Belki de cevap, tüm pratik konular için farkın ihmal edilebilir olmasıdır. Sorunun peşinde olan budur: koşullar, incelikler ve uygulamadaki fark.

— Amelio Vazquez-Reina

Yanıtlar:

Maddenin geneline odaklanmak için genelleştirelim. Şüphe bırakmamak için en küçük ayrıntıları heceleyeceğim. Analiz sadece aşağıdakileri gerektirir:

Aritmetik ortalama sayılar kümesinin olarak tanımlanmıştır $z_1, \ldots, z_m$

$\frac{1}{m} (z_{1} + \dots + z_{m}) .$ $\frac{1}{m}\left(z_1 + \cdots + z_m\right).$
Beklenti doğrusal bir operatördür. Yani, rasgele değişkenler ve sayılar olduğunda, doğrusal bir kombinasyon beklentisi beklentilerin doğrusal birleşimidir, $Z_i, i=1,\ldots,m$ $\alpha_i$

$E (α_{1} Z_{1} + \dots + α_{m} Z_{m}) = α_{1} E (Z_{1}) + \dots + α_{m} E (Z_{m}) .$ $\mathbb{E}\left(\alpha_1 Z_1 + \cdots + \alpha_m Z_m\right) = \alpha_1 \mathbb{E}(Z_1) + \cdots + \alpha_m\mathbb{E}(Z_m).$

Let bir örnek olarak bir veri kümesi elde edilen alarak üniform elemanları değiştirme ile. Let aritmetik ortalaması olarak . Bu rastgele bir değişkendir. Sonra $B$ $(B_1, \ldots, B_k)$ $x = (x_1, \ldots, x_n)$ $k$ $x$ $m(B)$ $B$

E (m (B)) = E (\frac{1}{k} (B_{1} + \dots + B_{k})) = \frac{1}{k} (E (B_{1}) + \dots + E (B_{k}))

$\mathbb{E}(m(B)) = \mathbb{E}\left(\frac{1}{k}\left(B_1+\cdots+B_k\right)\right) = \frac{1}{k}\left(\mathbb{E}(B_1) + \cdots + \mathbb{E}(B_k)\right)$

bunu beklenti doğrusallığı izler. öğelerinin hepsi aynı şekilde elde edildiğinden, hepsinin aynı beklentileri vardır, diyor ki: $B$ $b$

E (B_{1}) = \dots = E (B_{k}) = b .

$\mathbb{E}(B_1) = \cdots = \mathbb{E}(B_k) = b.$

Bu, aşağıdakileri basitleştirir

E (m (B)) = \frac{1}{k} (b + b + \dots + b) = \frac{1}{k} (k b) = b .

$\mathbb{E}(m(B)) = \frac{1}{k}\left(b + b + \cdots + b\right) = \frac{1}{k}\left(k b\right) = b.$

Tanım olarak, beklenti, değerlerin olasılık-ağırlıklı toplamıdır. Her değerinin eşit seçme şansına sahip olduğu varsayıldığından , $X$ $1/n$

E (m (B)) = b = E (B_{1}) = \frac{1}{n} x_{1} + \dots + \frac{1}{n} x_{n} = \frac{1}{n} (x_{1} + \dots + x_{n}) = \bar{x},

$\mathbb{E}(m(B)) = b = \mathbb{E}(B_1) = \frac{1}{n}x_1 + \cdots + \frac{1}{n}x_n = \frac{1}{n}\left(x_1 + \cdots + x_n\right) = \bar x,$

verinin aritmetik ortalaması.

Soruyu cevaplamak için , kişi popülasyon ortalamasını tahmin etmek için veri ortalaması kullanıyorsa, önyükleme ortalaması ( ) da eşittir ve bu nedenle nüfus ortalamasının bir tahmincisi olarak özdeştir . $\bar x$ $k=n$ $\bar x$

Verilerin doğrusal işlevleri olmayan istatistikler için aynı sonucun olması gerekmez. Bununla birlikte, istatistiğin veriler üzerindeki değeri yerine bootstrap ortalamasını değiştirmek yanlış olur: bootstrapping bu şekilde çalışmaz. Bunun yerine, bootstrap ortalamasını veri istatistiği ile karşılaştırarak istatistiğin yanlılığı hakkında bilgi ediniriz . Bu , önyargıyı kaldırmak için orijinal istatistiği ayarlamak için kullanılabilir . Bu şekilde, önyargı düzeltmeli tahmin, böylece orijinal istatistik ve önyükleme ortalamasının cebirsel bir kombinasyonu haline gelir. Daha fazla bilgi için, "BCa" (önyargı düzeltmeli ve hızlandırılmış önyükleme) ve "ABC" konularına bakın. Wikipedia bazı referanslar sağlar.

— whuber
kaynak

Bootstrap ortalamasının beklentisinin veri ortalamasına eşit olduğunu mu söylüyorsunuz? Bootstrap ortalamasının kendisi (orijinal) veri örneği tarafından belirlenmez.

— capybaralet

@ user2429920 Önyükleme ortalaması, örnek tarafından belirlenen bir istatistiktir. Bu anlamda numune ortalaması ile aynıdır. Beklentisi örnekleme dağılımı anlamında alınır. "Beklenti" yi, tekrarlanan alt örnekleme ile bootstrap ortalamasını hesaplama işlemine göre farklı bir anlamda kullanıyor olabileceğinizden şüpheleniyorum .

— whuber

Bence son paragraf, genel olduğu ve sadece ortalama istatistiğe odaklanmadığı için bu sorunun gerçek cevabıdır. OP'nin yaptığıyla aynı şüpheye sahiptim ve BCa'nın varlığından haberdar değildim. Her ne kadar bu cevaptaki gösteri bana pek yardımcı olmadıysa da (ortalamayı istatistiğim olarak kullanmıyorum) son paragraf konunun özü hakkında çok açıktı. Xi'an'ın cevabının aynı zamanda ortalama istatistiğin kullanıldığı duruma da değindiğine inanıyorum. Teşekkür ederim!

— Gabriel

@ Gabriel iyi puan. Kaydı kontrol ettim: düzenlemeden önce, bu soru aslında sadece ortalama hakkında sordu . Bu yüzden cevaplar bu istatistiğe bu kadar odaklanmış görünüyor.

— whuber

Önyükleme dağılımı olarak tanımlandığı için Önyükleme ortalama dağılım olan

{\hat{F}}_{n} (x) = \frac{1}{n} \sum_{i = 1}^{n} I_{X_{i} \leq x} X_{i} \overset{iid}{\sim} F (x),

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)\,,$

(eğer varsa), bu beklenti, yani rastgele çeken bir ortalama bir simülasyon versiyonu uygulamak, bu yaklaşım Monte Carlo değişkenlik vardır

, ancak ortalama (ampirik ortalamanın

) ve bootstrap simülasyonlarının sayısının sonsuza kadar büyüdüğü zamanki sınırı tam olarak

E_{{\hat{F}}_{n}} [X] = \frac{1}{n} \sum_{i = 1}^{n} X_{i} = {\bar{X}}_{n}

$\mathbb{E}_{\hat{F}_n}[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_ n$

E_{{\hat{F}}_{n}} [X]

$\mathbb{E}_{\hat{F}_n}[X]$

{\bar{X}}_{n}

$\bar{X}_ n$

— Xi'an
kaynak

+1 Bu aslında yazmak istediğim cevap, ancak bazı okuyucular için çok opak olabileceğinden korktum. Yine de çok zarif sundu görmek sevindim. Yine de, son cümlenizde ne demek istediğinizden emin değilim, simüle edilmiş yaklaşımın "beklentisini" ortalamasına "sınırından" ayırdığınız görünmüyor: beklenti sabit olduğundan (simülasyon boyutuna göre değişmez) ), alınması gereken bir sınır yoktur.

— whuber

@whuber: Yorumunuz için teşekkür ederim ve kısa yanıtımı tam olarak sizinkiyle yazdığınız için üzgünüm! Açıklamalarınız kesinlikle bootstraptaki acemiler tarafından daha okunabilir. Sınırlayıcı kısmı büyük sayılar yasası olan son cümleyi düzelttim.

— Xi'an

Bu son cümlede "demek" i kullanman oldukça belirsiz! LLN ipucundan anladım. Bootstrap dağılımının herhangi bir sonlu simülasyonu için, simülasyondaki her örnek kendi ortalamasını üretir ("ortalama" nın bir anlamı vardır). Belirli bir simülasyondaki tüm bu örneklerin ortalaması bir simülasyon ortalaması üretir (başka bir anlamı daha vardır). Simülasyon boyutu, simülasyon boyutu büyüdükçe sabit hale gelir ; bu, bootstrap ortalamasıdır (üçüncü bir anlam) ve bu, örnek ortalamasına (dördüncü anlam) eşittir . (Ve bu nüfus ortalamasını tahmin ediyor - beşinci bir anlam!)

— whuber