Önyargı önyükleme tahmini ne zaman geçerlidir?

Önyükleme işleminin tahmin edicideki önyargı tahminini sağlayabildiği sık sık iddia edilmektedir.

Eğer T bir istatistik için tahmini ve ~ t i önyükleme kopyaları vardır ile ( i ∈ { 1 , ⋯ , N } ), daha sonra önyargı önyükleme tahminidir ki bu oldukça huzursuz görünüyor.$\hat t$$\tilde t_i$$i\in\{1,\cdots,N\}$

Zaten istatistiğin tarafsız bir tahmincisine sahip olmadan bunun nasıl mümkün olabileceğini kafamdan çıkaramıyorum. Örneğin, tahmin edicim gözlemlerden bağımsız bir sabit döndürürse, yukarıdaki önyargı tahmini açıkça geçersizdir.

Her ne kadar bu örnek patolojik olsa da, tahminci ve önyükleme tahmininin makul olduğunu garanti edecek dağıtımlarla ilgili makul varsayımların ne olduğunu göremiyorum.

Resmi referansları okumayı denedim, ancak istatistikçi ya da matematikçi değilim, bu yüzden hiçbir şey netleştirilmedi.

Tahminin ne zaman geçerli olması beklenebileceğinin üst düzey bir özetini kimse verebilir mi? Konuyla ilgili iyi referanslar biliyorsanız bu da harika olurdu.

Düzenle:

Tahmin edicinin pürüzsüzlüğü genellikle önyüklemenin çalışması için bir gereklilik olarak belirtilir. Birinin dönüşümün bir çeşit yerel tersine çevrilmesi de gerekebilir mi? Sabit harita açıkça bunu tatmin etmiyor.

Tanımladığınız sorun, geçerliliği olmayan bir yorum problemidir. Sabit tahminciniz için önyükleme yanlılığı tahmini geçersiz değil, aslında mükemmel.

Yanlılık önyükleme tahmini bir tahmin edici arasındadır θ = s ( x ) ve bir parametre θ = t ( F ) , burada F bilinmeyen bir dağılımıdır ve x bir örnek F . T ( F ) işlevi , eğer nüfusu elinizde tutarsanız, prensip olarak hesaplayabileceğiniz bir şeydir. Bazı kere almak s ( x ) = t ( E ) , eklenti tahmini t ($\hat\theta = s(x)$$\theta = t(F),$$F$$x$$F$$t(F)$$s(x) = t(\hat F),$ ampirik dağılım kullanılarak F yerine F . Muhtemelen yukarıda tanımladığınız şey budur. Tüm durumlarda önyargı önyükleme tahmini b ı bir s F = E F [ s ( x * ) ] - t ( F ) , burada x * den önyükleme numunelerdir x .$t(F)$$\hat F$$F$

Sabit mükemmel plug-in aynı sabiti tahmin olup:$c$ nüfusu ve örnek ~ F yaklaşır, deneysel dağılımı, F . Eğer değerlendirmek olsaydı t ( F ) = c , sen alırdım c . Eğer plug-in tahmin hesaplamak zaman t ( E ) = C de elde c . Beklediğiniz gibi önyargı yok.$\sim F$$\sim \hat F$$F$$t(F) = c$$c$$t(\hat F) = c$$c$

Plug-in tahmin bir önyargı vardır iyi bilinen bir durum bu nedenle, tahmin varyans Bessel düzeltmedir. Aşağıda bunu gösteriyorum. Önyükleme önyargısı tahmini çok da kötü değil: $t(\hat F)$

library(plyr)

n <- 20
data <- rnorm(n, 0, 1)

variance <- sum((data - mean(data))^2)/n

boots <- raply(1000, {
  data_b <- sample(data, n, replace=T)
  sum((data_b - mean(data_b))^2)/n
})

# estimated bias
mean(boots) - variance 
#> [1] -0.06504726

# true bias:
((n-1)/n)*1 -1
#> [1] -0.05

Bunun yerine, nin popülasyon ortalaması ve s ( x ) = c olması , çoğu durumda açık bir önyargı olması gerektiği durumlarda olabilir: $t(F)$$s(x) = c$

library(plyr)

mu <- 3
a_constant <- 1

n <- 20
data <- rnorm(n, mu, 1)

boots <- raply(1000, {
  # not necessary as we will ignore the data, but let's do it on principle
  data_b <- sample(data, n, replace=T)

  a_constant
})

# estimated bias
mean(boots) - mean(data) 
#> [1] -1.964877

# true bias is clearly -2

Yine bootstrap tahmini çok da kötü değil.

Bir hata yaptınız ve belki de kafa karıştırıcı olmasının nedeni budur. Diyorsun:

Tahmin edicim basit bir şekilde gözlemlerden bağımsız bir sabit döndürürse, yukarıdaki önyargı tahmini açıkça geçersizdir

Önyükleme, yönteminizin ne kadar önyargılı olduğu ile ilgili değildir, ancak verilerinizin önyargılı olması durumunda, bazı işlevlerden elde edilen sonuçların ne kadarı olduğu.

Verilerinizi analiz etmek için uygun istatistiksel yöntemi seçerseniz ve bu yöntemin tüm varsayımları yerine getirilirse ve matematiğinizi doğru yaptınızsa, istatistiksel yönteminiz size verilerinizi kullanarak elde edilebilecek "en iyi" olası tahmini vermelidir .

Önyükleme fikri, verilerinizden, örneklerinizi popülasyondan örneklediğiniz gibi örneklemektir - bu da örneklemenizin bir nüshasıdır. Bu , değerinizin yaklaşık dağılımını (Efrons kelimelerini kullanarak) elde etmenize ve dolayısıyla tahmininizin önyargısını değerlendirmenize olanak sağlar .

Ancak benim iddia ettiğim şey, örneğinizin yanıltıcı olduğudur ve bu yüzden açılış önyüklemesini tartışmak için en iyi örnek değildir. Her iki tarafta da yanlış anlaşılmalar olduğu için, cevabımı güncellememe ve amacımı açıklamak için daha resmi bir şekilde yazmama izin verin.

İçin Eğilim θ gerçek değer arasında olmak tahmin İçeride ISTV melerin RWMAIWi'nin şu şekilde tanımlanır:$\hat{\theta}$$\theta$

nerede:

burada tahmin edicidir.$g(\cdot)$

Larry Wasserman'in "Tüm İstatistikler" adlı kitabında yazdığı gibi :

Bir tahminci için makul bir gereksinim, gittikçe daha fazla veri toplarken gerçek parametre değerine yaklaşması gerektiğidir. Bu gereklilik aşağıdaki tanım ile ölçülür:
6.7 Tanım. Bir nokta tahmin θ n bir parametre İçeride ISTV melerin RWMAIWi'nin olan tutarlı ise θ n p → θ .$\hat{\theta}_n$$\theta$$\hat{\theta}_n \overset{P}{\rightarrow} \theta$

Sabit bir fonksiyonu olarak sabit tahmincisi, : g ( x ) = λ etmez olmayan verinin bağımsızdır ve gözlemler artan sayıda gerçek değeri yaklaşım haline getirmediği için bu gereği yerine İçeride ISTV melerin RWMAIWi'nin sürece saf şans veya çok sağlam olan ( önsel varsayımlar λ tam o λ = θ ).$x$$g(X) = \lambda$$\theta$$\lambda$$\lambda = \theta$

Sabit tahmincisi makul tahmincisi olduğu için temel ihtiyacını karşılamak değildir ve dolayısıyla, bunun 's önyargı tahmin etmek imkansız çünkü θ n yaklaşım değildir θ bile n → ∞ . Önyükleme ve başka bir yöntemle yapmak imkansız, bu yüzden önyükleme ile ilgili bir sorun değil.$\hat{\theta}_n$$\theta$$n \rightarrow \infty$

Bence formülün yanlış. Geçen şapka yerine bir yıldız olmalıdır: b i bir s t ≈ $t$

Tahminden ziyade ampirik dağılım üzerinde değerlendirilen gerçek istatistiği kullanmak istersiniz (bu, orijinal örnek sonlu bir küme olduğu için bu genellikle kolaydır). Bazı durumlarda, bunlar aynı olabilir (örneğin, deneysel ortalama, örnek ortalamanın aynısıdır), ancak genel olarak olmayacaklardır. Farklı oldukları bir durum verdiniz, ancak daha az patolojik bir örnek, varyans için normal tarafsız tahmin edicidir; bu, sınırlı bir dağılıma uygulandığında popülasyon varyansı ile aynı değildir.

$t$ ampirik dağılımları anlamsızsa (örneğin sürekli bir dağılım varsa), vanilya açılışını kullanmamalısınız. Ampirik dağılımı bir çekirdek yoğunluğu tahminiyle (pürüzsüz önyükleme) değiştirebilirsiniz veya orijinal dağılımın belirli bir ailede bulunduğunu biliyorsanız, ampirik dağılımı o aileden en fazla tahmin edilen değerle değiştirebilirsiniz (parametrik önyükleme).

TL / DR: Önyükleme yöntemi büyülü değil. Önyargı hakkında tarafsız bir tahminde bulunmak için, ilgilenilen parametreyi tam olarak sınırlı bir dağılım üzerinde hesaplayabilmeniz gerekir.

I find it useful to think about the bootstrap procedures in terms of the functionals of the distributions they operate on -- I gave an example in this answer to a different bootstrap question.

The estimate you gave is what it is -- an estimate. Nobody says it does not suffer from problems that statistical estimates may have. It will give you a non-zero estimate of bias for the sample mean, for instance, which we all know is unbiased to begin with. One problem with this bias estimator is that it suffers from sampling variability when the bootstrap is implemented as Monte Carlo rather than a complete enumeration of all possible subsamples (and nobody that that theoretical bootstrap in practice, anyway).

As such, a Monte Carlo implementation of the bootstrap is unfixable, and you have to use a different bootstrap scheme. Davison et. al. (1986) demonstrated how to create a different bootstrap scheme that restricts the random draws to produce balanced samples: if you create $B$ bootstrap replicates, then each of the original elements needs to be used exactly $B$ times for the first-order balance. (The second order balance that works better for the second moments of the estimands, is further discussed by Graham et. al. (1990).)