Bir “saf bootstrap” in başarısız olduğu örnekler nelerdir?

Bilinmeyen bir veya karmaşık dağılımından örnek verilerin bir dizi var ve ben bir istatistik bazı çıkarım gerçekleştirmek istediğiniz varsayalım $T$ verilerinin. Benim varsayılan eğim sadece değiştirme ile önyükleme örneklerinin bir demet oluşturur ve benim istatistik hesaplamaktır $T$ için tahmini dağılımını oluşturmak için her önyükleme numunede $T$ .

Bunun kötü bir fikir olduğu örnekler nelerdir?

Örneğin, bu önyükleme işlemini saf bir şekilde gerçekleştirmenin başarısız olacağı bir durum, önyükleme zaman çizelgesi verilerinde önyükleme kullanmaya çalışıyorsam (örneğin, önemli bir otomatik korelasyona sahip olup olmadığımı test etmek için). Naif önyükleme (üreten yukarıda açıklanan $i$ benim orijinal zaman serisinin yapıyı görmezden beri, (Sanırım) tedbirsiz olacağını benim orijinal seriden yerine koyarak örnekleme yoluyla n'inci önyükleme numune serisinin inci Datapoint) ve bu yüzden blok bootstrap gibi meraklısı bootstrap teknikleri olsun.

Başka bir deyişle, "değiştirme ile örnekleme" nin yanı sıra önyüklemede ne var?

Genellikle bir dağıtımın işlevselliği olan ilgi miktarı makul derecede pürüzsüzse ve verileriniz tanımlanmışsa, genellikle oldukça güvenli bir bölgedesiniz demektir. Tabii ki, bootstrap'in işe yarayacağı başka durumlar da var.

Önyüklemenin "başarısız olması" ne demek

Genel olarak konuşursak, önyüklemenin amacı, ilgilenilen istatistik için yaklaşık bir örnekleme dağılımı oluşturmaktır. Parametrenin gerçek tahmini ile ilgili değil. Dolayısıyla, ilgilenilen istatistik (bazı ölçeklendirme ve merkezleme altında) ve ise, dağıtımımızın dağılımını istiyoruz. dağılımına yakınsama . Eğer buna sahip değilsek, o zaman yapılan çıkarımlara güvenemeyiz. X n→X∞X$\newcommand{\Xhat}{\hat{X}_n}\Xhat$$\Xhat \to X_\infty$$X_\infty$

Bir önyüklemenin ne zaman başarısız olabileceğine ilişkin kanonik örnek, hatta bir iid çerçevesinde bile aşırı sıra istatistiklerinin örnekleme dağılımına yaklaşmaya çalışırken. Aşağıda kısa bir tartışma.

Bir dağılımından rastgele bir örneğin maksimum sipariş istatistiği$\;\mathcal{U}[0,\theta]$

'da dot'ların iid düzgün rastgele değişkenler dizisi olmasına izin verin . Let . Dağılımı olan (Çok basit bir argümanla, bunun aslında olasılık içinde olduğunu ve rastgele değişkenlerin hepsinin aynı alanda tanımlanmış olması durumunda neredeyse kesin olduğunu gösterir.)$X_1, X_2, \ldots$$[0,\theta]$$\newcommand{\Xmax}{X_{(n)}} \Xmax = \max_{1\leq k \leq n} X_k$$\Xmax$

Temel bir hesaplama veya başka bir deyişle, dağılımda ortalama ile üstel bir rasgele değişkeni birleştirir .

Şimdi, bir (naif) oluşturan önyükleme dağılımının tahmin yeniden örnekleyerek almak için değiştirme ile ve dağılım kullanılarak arasında şartına .$n(\theta - \Xmax)$$X_1, \ldots, X_n$$X_1^\star,\ldots,X_n^\star$$n(\Xmax - \Xmax^\star)$$X_1,\ldots,X_n$

Ancak, olasılıklı olduğunu ve bu nedenle önyükleme dağılımının asimptotik olmasına rağmen sıfırda bir nokta kütlesine sahip olduğunu gözlemleyin. Gerçek sınırlayıcı dağılımın sürekli olduğu gerçeği.$\Xmax^\star = \Xmax$$1 - (1-1/n)^n \to 1 - e^{-1}$

Gerçek sınırlayıcı dağıtım ortalama ile üstel olsa Daha açık , sınırlayıcı önyükleme dağılımı, bir yerleştirir noktası kütle büyüklüğü sıfırdan gerçek değerinden bağımsız . yeterince büyük alarak , herhangi bir sabit aralık için herhangi bir sabit aralık için keyfi sınırlama olasılığını küçük yapabiliriz , ancak önyükleme ( hala !) Bu aralıkta en az 0,632 ihtimal olduğunu bildirir! Bundan, bootstrap'ın bu ortamda keyfi olarak kötü davranabileceği açık olmalıdır .$\theta$$1−e^{-1} \approx 0.632$ $\theta$$\theta$$[0,\varepsilon)$

Özetle, bu durumda önyükleme başarısız olur (sefil bir şekilde). Parametre boşluğunun kenarındaki parametrelerle uğraşırken işler ters gitmeye meyillidir.

Normal rastgele değişkenler örneğinden bir örnek

Önyüklemenin şaşırtıcı şekilde basit koşullarda başarısızlığa uğramasına benzer başka örnekler de var.

den bir örnek örneğini göz önünde bulundurun burada için parametre alanı ile sınırlandırılır . Bu durumda MLE, . Yine, önyükleme tahmini tahminini kullanırız . Yine, (gözlenen numuneye bağlı) dağılımının aynı sınırlayıcı dağılıma yakınlaşmadığı gösterilmiştir. .$X_1, X_2, \ldots$$\mathcal{N}(\mu,1)$$\mu$$[0,\infty)$$\newcommand{\Xbar}{\bar{X}}\Xhat = \max(\bar{X},0)$$\Xhat^\star = \max(\Xbar^\star, 0)$$\sqrt{n}(\Xhat^\star - \Xhat)$$\sqrt{n}(\Xhat - \mu)$

Değiştirilebilir diziler

Belki de en çarpıcı örneklerden biri değiştirilebilir bir dizi içindir. Let rastgele değişkenlerin bir dizi olarak bu için, bu her permütasyon çiftinin matrisleri ve , dizileri ve dizileri aynı eklem dağılımına sahiptir. Yani, satırlarına ve sütunlarına izin vermek dağıtımı değişmez tutar. (Örnek çok daha genel olmasına rağmen, hücre başına bir gözlemle iki yönlü rastgele etkiler modelini düşünebilirsiniz.)$\newcommand{\bm}[1]{\mathbf{#1}}\bm{Y} = (Y_{ij})$$\bm{P}$$\bm{Q}$$\bm{Y}$$\bm{P} \bm{Y} \bm{Q}$$\bm{Y}$

Diyelim ki, ortalaması için bir güven aralığı tahmin etmek istediğimizi varsayalım . hücreler aynı olmalıdır).$\mu = \mathbb{E}(Y_{ij}) = \mathbb{E}(Y_{11})$

McCullagh (2000), böyle bir diziyi önyüklemenin iki farklı doğal (yani saf) yolunu düşünmüştür. Bunlardan hiçbiri, örnek ortalamasının asimptotik varyansını doğru alamaz. Ayrıca tek yönlü değiştirilebilir bir dizi ve doğrusal regresyonun bazı örneklerini göz önünde bulunduruyor.

Referanslar

Ne yazık ki, konu önemsiz olduğu için bunların hiçbiri özellikle kolay okunamıyor.

P. Bickel ve D. Freedman, Önyükleme için bazı asimptotik teori . Ann. Stat. , vol. 9, hayır. 6 (1981), 1196-1217.

DWK Andrews, Parametre alanı sınırında bir parametre olduğunda bootstrap tutarsızlığı , Econometrica , vol. 68, hayır. 2 (2000), 399-405.

P. McCullagh, Yeniden örnekleme ve değiştirilebilir diziler , Bernoulli , vol. 6, hayır. 2 (2000), 285-301.

EL Lehmann ve JP Romano, İstatistiksel Hipotezlerin Test Edilmesi , 3.. ed., Springer (2005). [Bölüm 15: Genel Büyük Örnek Yöntemler]

Aşağıdaki kitapta "Önyükleme İhtilafları ile Birlikte Başarısız Olduğunda" ile ilgili bir bölüm bulunmaktadır (Bölüm 9):

MR Chernick, Önyükleme yöntemleri: Uygulayıcılar ve araştırmacılar için bir rehber , 2. baskı. Hoboken NJ: Wiley-Interscience, 2008.

Konular:

1. Örnek Boyutu Çok Küçük
2. Sonsuz Momentli Dağılımlar
3. Aşırı Değerlerin Tahmini
4. Anket Örnekleme
5. Are Veri Diziler M Bağımlı
6. Kararsız Otoregressif İşlemler
7. Uzun Menzilli Bağımlılığı

Saf önyükleme, örnek boyutunun büyük olmasına bağlıdır, böylece veriler için ampirik CDF, "gerçek" CDF'ye iyi bir yaklaşımdır. Bu, deneysel CDF'den örneklemenin, "gerçek" CDF'den örneklemeye benzemesini sağlar. En uç durum, yalnızca bir veri noktasını örneklediğiniz zamandır - önyükleme burada hiçbir şey yapmaz. Bu dejenere olaya yaklaştığından daha da işe yaramayacak.

Nadiren önyükleme, zaman serileri analizinde mutlaka başarısız olmayacaktır (verimsiz olmasına rağmen) - serisi, bir trend bileşeni için sürekli zamanın temel fonksiyonlarını (böyle bir efsane polinomları) ve döngüsel zamanın sürekli zamanının sinüs ve kosinüs fonksiyonlarını kullanarak modellerseniz bileşenleri (artı normal gürültü hatası terimi). O zaman sadece olabilirlik fonksiyonuna örneklediğiniz zamanları koyun. Burada bootstrapping için felaket yok.

Herhangi bir oto-korelasyon veya ARIMA modelinin yukarıda bu formatta bir temsili vardır - bu modelin kullanımı sadece daha kolaydır ve anlamayı ve yorumlamayı düşünüyorum (bir ARIMA modelinin katsayılarını anlamak zor olan sinüs ve kosinüs fonksiyonlarındaki döngüleri anlamak kolaydır). Örneğin, oto-korelasyon fonksiyonu, bir zaman serisinin güç spektrumunun ters Fourier dönüşümüdür.