Önyükleme işleminin geçerli olduğunu gösteren bir sonuç var mı?

İstatistiğimizin istatistiklerinin dağıtım fonksiyonundan çizilen verilerinin bir fonksiyonu olduğunu varsayıyoruz . Örneğimizin ampirik dağılım işlevi . Bu nedenle, , rastgele bir değişken olarak görülen istatistiktir ve , istatistiğin bootstrap sürümüdür. KS mesafesi olarak kullanıyoruz $\theta(\cdot)$ $X_1, \ldots X_n$ $F$ $\hat{F}$ $\theta(F)$ $\theta(\hat{F})$ $d_\infty$

Eğer istatistik basit bir lineer istatistik ise, eğer "if ve only" ise bootstrapın geçerliliği ile sonuçlanır. Örneğin, Mammen'den Teorem 1 "Önyükleme ne zaman çalışıyor?"

Eğer bazı fonksiyonlar o zaman bootstrap ise ve varsa yalnızca ve şekilde örneklemimizin bir fonksiyonu olarak tanımlayabiliriz ve $\theta(F) = \frac{1}{n} \sum_{i-1}^n h_n(X_i)$ $h_n$
$d_{\infty} [L (θ (\hat{F}) - {\hat{t}}_{n}), L (θ (F) - t_{n})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(\hat{F})-\hat{t}_n), \mathscr{L}(\theta(F)-t_n)\big] \underset{p}{\rightarrow} 0$ $\sigma_n$ $t_n$ $d_{\infty} [L (θ (F) - t_{n}), N (0, σ_{n}^{2})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(F)-t_n), N(0, \sigma_n^2)\big]\underset{p}{\rightarrow} 0$ $\hat{t_n}$ $t_n = \mathbb{E}(\hat{t}_n)$

Önyükleme işleminin genel istatistikler için çalıştığı konusunda daha genel sonuçlar da vardır, örneğin Politis Romano ve Wolf tarafından Alt Örneklemeden Theorem 1.6.3:

sonlu desteğiyle tüm dağılımların sınıfından çekildiğini varsayalım . Bu istatistik varsayalım olan Frechet türevlenebilir sup normuna ve türev göre tatmin . O zaman asimptotik olarak normaldir ve bootstrap önceki teorem anlamında çalışır. $F$ $\theta(\cdot)$ $F$ $g_F$ $0 < \textrm{Var}_F[g_F(x)] < \infty$ $\theta(F)$

İkinci teoremin “eğer ve ancak” versiyonunu istiyorum. Politis, Romano ve Wolf (1999), örnek medyanın Frechet'in farklı olmadığını, ancak önyüklemenin hala çalıştığını gösterdiğinden, bu, Frechet'in farklılığından farklı bir pürüzsüzlük kavramı gerektirecektir. Bununla birlikte, örnek medyan hala verilerin düzgün bir fonksiyonudur.

Mammen'de pürüzsüzlüğün gerekli olduğu konusunda resmi olmayan yorumlar var:

Tipik olarak lokal asimptotik doğrusallık, bootstrap tutarlılığı için gerekli görünmektedir.

Alıntı:

van Zwet, W (1989). Olberwolfach'taki “İstatistikte bilgisayar yoğun prosedürler için asimptotik yöntemler” konulu konferansta verilen konuşma.

Fakat bu konuşmanın izini bir avuç alıntıdan başka bir şey bulamıyorum.

— orizon
kaynak

Mükemmel konu Atıfta bulunulan sonuçların sonsuzluğa giden örnek boyutları için asimptotik olması doğru mu?

— Michael M,

@Michael Teşekkürler ve evet, her şey kadar asimptotiktir . Bu arada, sonlu örnekler için sonuçlarla ilgili bazı yeni çalışmalar var (örn. Arxiv.org/pdf/1212.6906.pdf ) ancak çok teknik.

n \to \infty

$n \rightarrow \infty$

— orizon,

Karmaşık konu. Bazıları bootstrap'ın genel olarak çalışmadığını söylüyor . van Zwer ve diğ. kişinin açılışta nelere dikkat etmesi gerektiğini söylüyor . Sanırım, başka bir test yapılmadan önce neyin önyükleneceğini ve neyin önyüklenmeyeceğini belirlemek gerekiyor.

— Carl

Şimdi, Mammen'in yorumuna cevaben cevabı güncelledim, kafanızdaki karışıklığı daha da açıklığa kavuşturmayı umuyorum. Ve eğer istersen, seni zorunluluk hakkında sormaya motive eden uygulama hakkında biraz açıklayabilirsin. Bu, cevabımı geliştirmeme yardımcı olacak.

— Henry.L

$\blacksquare$ (1) Neden kuantil tahmin ediciler Frechet farklılaştırılabilir değiller ama açılış önyükleyicileri hala tutarlı mı?

Bu durumda önyükleme çalışmasını sağlamak için yeterli bir koşul olarak Hadamard türevliliğine (ya da referans kaynağınıza göre kompakt farklılaşmaya sahip olmalısınız) ihtiyacınız var. Frechet farklılığı çoğu uygulamada çok güçlü.

Polonyalı bir alanı tartışmak genellikle yeterli olduğundan, tutarlılık sonucunuzu global duruma genişletmek için tipik bir kompaktlık argümanı uygulamak için yerel olarak doğrusal bir işlevsellik istersiniz. Ayrıca, aşağıdaki lineariazation yorumuna bakın.

[Wasserman] Teorisi 2.27, size Hadamard türevinin nasıl zayıf bir fikir olduğu konusunda bir sezgiyi verecektir. Ve teoremi 3.6 ve 3.7 [Shao ve Tu] açısından zayıf tutarlılığı için yeterli koşul verecek istatistiksel fonksiyonel -Hadamard diferansiyellenebilirlik gözlem boyutu ile . $\rho$ $T_{n}$ $n$

$\blacksquare$ (2) Önyükleme tahmincilerinin tutarlılığını ne etkiler?

[Shao & Tu] s.85-86, bootstrap tahmin edicilerinin tutarsızlığının ortaya çıkabileceği durumları göstermektedir.

(1) Önyükleme, popülasyonunun kuyruk davranışına duyarlıdır . tutarlılığı , limitinin varlığı için gerekenden daha katı olan moment koşullarını gerektirir . $F$ $H_{BOOT}$ $H_0$

(2) Önyükleme tahmincisinin tutarlılığı, verilen istatistik (işlevsel) den belirli bir düzeyde pürüzsüzlük gerektirir . $T_{n}$

(3) Önyükleme tahmincisinin davranışı bazen önyükleme verileri elde etmek için kullanılan yönteme bağlıdır.

Ve [Shao & Tu] 'nın Sec 3.5.2' de, yumuşatıcı bir çekirdeği kullanarak kuantil örneği tekrar ziyaret ettiler . Momentlerin lineer fonksiyoneller olduğuna dikkat edin, "Tipik olarak yerel asimptotik lineerlik bootstrap tutarlılığı için gerekli gibi görünüyor" sorusunda yer alan alıntı, fonksiyonel olarak bir miktar analitiklik gerektiriyor, çünkü bu başarısız olursa, bazı patolojik durumlar oluşturabilirsiniz. Weierstrass işlevi gibi (sürekli fakat hiçbir yerde ayırt edilemez). $K$

$\blacksquare$ (3) Önyükleme tahmincisinin tutarlılığını sağlamada neden yerel doğrusallık gerekiyor?

Yorumunda da belirtildiği gibi Mammen tarafından yapılan "tipik olarak yerel asimptotik doğrusallık bootstrap tutarlılığı için gerekli gibi görünüyor". [Shao & Tu] s.78'den bir yorum şöyledir, (küresel) doğrusallaştırmanın yorumunu yaptıkları gibi, tutarlılık ispatını kolaylaştıran ve herhangi bir gerekliliği göstermeyen bir tekniktir:

Lineerleştirme , bootstrap tahmin edicilerin tutarlılığını kanıtlamak için bir başka önemli tekniktir , çünkü lineer istatistikler için sonuçlar genellikle mevcuttur veya daha önce tanıtılan teknikler kullanılarak tespit edilebilir. Belirli bir istatistiki doğrusal bir rasgele değişken (burada doğrusal olarak istatistik ), örneğin, (3.19) Let ve , önyükleme örneğine göre sırasıyla ve önyükleme analogları olur $\bar{Z_n}=\frac{1}{n}\sum_{i=1}^{n}\phi(X_n)$ $\phi(X)$ $X$
$T_{n} = θ + \bar{Z_{n}} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n=\theta+\bar{Z_n}+o_{P}(\frac{1}{\sqrt{n}})$ $T_n^{*}$ $\bar{Z_n^{*}}$ $T_n$ $\bar{Z_n}$ $\{X_1^{*},\cdots,X_n^{*}\}$ . Eğer (3.19) 'a benzer bir sonuç , yani, (3.20) sonra ( parametresinin değeridir sınırını , .Biz problemi bir problemi . önyükleme dağılımı tahmincisinin Bölüm 3.1.2-3.1.4'teki yöntemler kullanılarak tutarlı olduğu gösterilebilen "sample mean" . $T_n^{*}$ $T_{n}^{*} = θ + {\bar{Z_{n}}}^{*} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n^{*}=\theta+\bar{Z_n}^{*}+o_{P}(\frac{1}{\sqrt{n}})$ $H_{BOOT}(x)$ $x$ $=P\{\sqrt{n}(T_n-T_n^{*}) \leq x\}$ $P\{\sqrt{n}(\bar{Z_n}-\bar{Z_n}^{*}) \leq x\}$ $\bar{Z_n}$

Ve MLE tipi önyükleme için önyükleme tutarlılığı elde etmenin bir örneğini 3.3 verdi. Bununla birlikte, küresel doğrusallık bu şekilde etkiliyse, yerel doğrusallık olmadan tutarlılığı nasıl kanıtlayacağını hayal etmek zor. Sanırım bu, Mammen’in söylemek istediği şeydi.

$\blacksquare$ (4) Ek yorumlar

Yukarıda [Shao & Tu] tarafından yapılan tartışmanın ötesinde, bence istediğinizi bootstrap tahmin edicilerinin tutarlılığının bir karakterizasyon koşulu olduğunu düşünüyorum.

Ne yazık ki, çok genel bir dağıtım sınıfı için bir bootstrap tahmincisinin tutarlılığının bir karakterizasyonunu bilmiyorum . $M(X)$ Bir tane olsa bile, sadecepürüzsüzlüğünü gerektirmediğini hissediyorum. Ancak[Gine & Zinn] 'dekisınıfıgibi belirli bir istatistiksel model sınıfı için karakterizasyon var; veya bir Polonya alanı üzerinde tanımlanmış olan, genellikle kompakt destekli sınıf (doğrudan yukarıdaki tartışmadan). $T$ $CLT$

Artı, Kolmogorov-Smirnov mesafesi, eğer odak noktamız klasik asimptotikse (deneysel işlemler için "tek tip" asimptotiklerin aksine) zevkime göre yanlış mesafedir. KS-mesafe, asimptotik davranışın incelenmesi için doğal bir zemin olan zayıf topolojiyi tetiklemediğinden, alanı üzerindeki zayıf topoloji, [Huber] tarafından kabul edildiği gibi sınırlı Lipschitz mesafesi (OR Prohorov-Levy mesafesi) tarafından tetiklenir. Odaklanmama ampirik bir süreç olmadığında ve diğer birçok yazar. Bazen ampirik sürecin sınırlayıcı davranışının tartışılması [Gine & Zinn] gibi BL mesafesini de içerir. $M(X)$

Sinik olmaktan nefret ediyorum ama hala bunun "boşluktan alıntı" diyen tek istatistiksel yazı olmadığını düşünüyorum. Bunu söyleyerek van Zwet'in konuşmasının alıntılarının çok sorumsuz olmasına rağmen, van Zwet'in büyük bir alim olduğunu düşünüyorum.

$\blacksquare$ Referansı

[Wasserman] Wasserman, Larry. Parametrik Olmayan İstatistiklerin Tümü, Springer, 2010.

[Shao ve Tu] Shao, Jun ve Dongsheng Tu. Jackknife ve önyükleme. Springer, 1995.

[Gine & Zinn] Giné, Evarist ve Joel Zinn. "Genel ampirik önlemleri önyükleme." Olasılığın Annals (1990): 851-869.

[Huber] Huber, Peter J. Robust istatistikleri. Wiley, 1985.

— Henry.L
kaynak