Önyükleme örnekleri sayısı için temel kural

Birisi, verilerin özelliklerine (gözlem sayısı, vb.) Ve / veya içerilen değişkenlere dayanarak, kullanılması gereken önyükleme örneklerinin sayısıyla ilgili genel kurallar biliyor mu?

Tecrübelerim, istatistikçilerin, yineleme sayısı 1.000'i geçmediği sürece simülasyonları veya önyüklemeleri ciddiye almayacaklarıdır. MC hatası, çok az takdir edilen büyük bir konudur. Örneğin, bu makaleNiter=50 bir özellik seçme aracı olarak LASSO'yu göstermek için kullanılır . Tezim 50 tekrardan kabul edilebilir sayılsaydı, çalışması çok daha az zaman alacaktı! Her zaman bootstrap örneklerinin histogramını incelemenizi tavsiye ederim . Dağılımları oldukça düzenli görünmelidir. Herhangi bir basit sayısal kuralın yeterli olacağını düşünmüyorum ve MC hatasını değerlendirmek için çift önyükleme yapmanın fazladan bir engel olacağını düşünüyorum.

Ortalamayı iki bağımsız standart normal rasgele değişken oranından tahmin ettiğinizi varsayalım, bazı istatistikçiler entegrasyonu hesaplamak zor olduğu için önyükleme önerebilir. Kemerinizin altında temel olasılık teorisi varsa, bu oranın var olmayan bir ortalama ile Cauchy rasgele bir değişken oluşturduğunu kabul edersiniz. Başka bir leptokurtik dağılım, daha düzenli bir Gauss yoğunluğu meslektaşı ile karşılaştırıldığında birkaç ilave önyükleme yinelemesi gerektirecektir. Bu durumda, 1000, 100000 veya 10000000 önyükleme örnekleri, bulunmadıklarını tahmin etmek için yetersiz kalacaktır. Bu önyüklemelerin histogramı düzensiz ve yanlış görünmeye devam edecektir.

Bu hikayede birkaç kırışıklık daha var. Özellikle, önyükleme yalnızca, veri üreten olasılık modelinin anları olduğunda gerçekten haklı. Çünkü, gerçek olasılık modeli için ampirik dağılım fonksiyonunu saman adam olarak kullanıyorsunuz ve aynı ortalama, standart sapma, çarpıklık, 99. yüzde değerine sahip olduklarını varsayıyorsunuz.

Kısacası, bir istatistiğin tahmini bir önyükleme tahmini ve standart hatası, yalnızca önyüklenen örneklerin histogramı makul şüphenin ötesinde düzenli göründüğünde ve önyükleme doğrulandığında haklı çıkar.

Düzenle:

Yeterli örneklere sahip olmak konusunda ciddiyseniz, yapmanız gereken şey, önyükleme prosedürünüzü çalıştırmak, ne umduğunuzu, yeterli sayıda örneği birkaç kez çalıştırmak ve önyükleme işleminin ne kadar "atlama" olduğunu tahmin etmektir. Tekrarlanan tahminler çok farklı değilse ("çok" özel durumunuza bağlı olduğunda) en iyisidir. Tabii ki, tekrarlanan tahminlerin, SD veya benzerlerini hesaplayarak ne kadar zıpladığını tahmin edebilirsiniz.

Bir referans ve bir kural istiyorsanız, Wilcox (2010) “genel kullanım için 599 tavsiye edilir” yazıyor. Ancak bu sadece bir rehber veya belki de göz önünde bulundurmanız gereken minimum örnek sayısı olarak kabul edilmelidir. Güvenli tarafta olmak istiyorsanız (hesaplama açısından uygunsa) neden daha fazla numune almamalısınız?

Kişisel bir kayda göre "kendim için" tahmin ederken 10,000 örnek ve başkalarına bir şey iletilirken 100,000 örnek tahmin etme eğilimindeyim (ancak bu küçük veri kümeleriyle çalıştığım zaman hızlıdır).

Referans

Wilcox, RR (2010). Modern istatistik yöntemlerin temelleri: Büyük ölçüde güç ve doğruluğu arttırmak. Springer.

Çok sayıda önyükleme yinelemesinin sonunda yardımcı olamayacağını önceden veya birkaç yinelemeden sonra söyleyebileceğiniz bazı durumlar vardır.

• Sonuçların anlamlı bir şekilde yorumlanması için gereken hassasiyetin büyüklüğü hakkında önceden bir fikriniz vardır. Belki de bilmiyorsanız, veri analizinin arkasındaki sorun hakkında biraz daha fazla şey öğrenmenin zamanı gelmiştir. Her neyse, birkaç yinelemeden sonra, kaç yinelemenin gerekli olduğunu tahmin edebilirsiniz.

• Açıkçası, eğer çok az vakanız varsa (örneğin, etik kurul 5 fareye izin verdi) on binlerce yineleme hakkında düşünmeniz gerekmez. Belki de mümkün olan tüm çizimlere bakmak daha iyi olur. Ve belki de, herhangi bir sonucun 5 fareye nasıl dayanabileceğini (kesinleştiremeyeceğini) düşünmek daha iyi olurdu.

• Sonuçların toplam belirsizliğini düşünün. Alanımda, önyükleme yoluyla ölçebileceğiniz ve azaltabileceğiniz belirsizliğin bir kısmı yalnızca toplam belirsizliğin küçük bir parçası olabilir (örneğin, deneylerin tasarımındaki kısıtlamalar nedeniyle, önemli varyasyon kaynakları genellikle deney kapsamında değildir - örneğin Nihai hedef elbette hasta olmasına rağmen, hücre hatları üzerinde deneylerle başlıyoruz). Bu durumda çok fazla yineleme yapmak hiç mantıklı gelmiyor - yine de nihai sonuca yardımcı olmayacak ve dahası yanlış bir kesinlik duygusu yaratabilir.

• İlişkili olmayan (tam olarak aynı olmasa da) bir sorun önyükleme dışında veya modellerin çapraz doğrulanması sırasında ortaya çıkar: iki belirsizlik kaynağınız vardır: sonlu (ve benim durumumda genellikle çok az sayıda bağımsız vaka) ve (in) bootstrapped modellerin kararlılığı. Örnekleme doğrulama ayarını ayarlamanıza bağlı olarak, örnekleme tahminine katkıda bulunanlardan yalnızca bir tanesi olabilir. Bu durumda, yeniden örneklemeyle elde edeceğiniz kesinliği ve nihai sonuca yardımcı olmak için ne zaman durduğunu yargılamak için diğer varyans kaynağının bir tahminini kullanabilirsiniz.

• Son olarak, şimdiye kadarki düşüncelerim daha az yinelemenin nasıl yapıldığına ilişkinken, işte daha fazlasını yapmanın lehine
  pratik bir düşüncem var : Uygulamada önyükleme çalıştırıldıktan sonra çalışma yapılmadı. Önyüklemenin çıktısının özet istatistiklere ve / veya şekillere göre toplanması gerekir. Sonuçların yazılı olarak rapor veya raporda yorumlanması gerekir. Bunların çoğu, önyüklemenin birkaç yinelemesinin ön sonuçlarıyla zaten yapılabilir (sonuçlar açıksa, birkaç yinelemeden sonra, sınırda kalırlarsa sınırda kalacağını gösterirler). Bu yüzden genellikle önyükleme işlemini ön sonuçları çekmeme izin verecek şekilde ayarlarım, böylece bilgisayar hesaplanırken çalışmaya devam edebilirim. Önyükleme birkaç gün daha sürerse, bu beni çok rahatsız etmiyor.

TLDR. 10.000 iyi bir kural gibi gözüküyor, örneğin bu büyük veya daha büyük önyükleme örneklerinden p değerleri, zamanın yaklaşık% 95'i için "gerçek p-değerinin" 0.01'i içerisinde olacak.

Aşağıda, yalnızca en yaygın kullanılan yöntem olan (bildiğim kadarıyla), ancak kuşkusuz zayıf yönleri olan ve küçük örneklerle kullanılmaması gereken , yüzdelik önyükleme yaklaşımını göz önünde bulunduruyorum .

Hafifçe yeniden. Bootstrap kullanımından kaynaklanan belirsizliği anlamak için bootstrap sonuçlarıyla ilişkili belirsizliği hesaplamak faydalı olabilir. Bunun, önyükleme çubuğundaki olası zayıflıkları ele almadığını unutmayın (örneğin yukarıdaki bağlantıya bakın), ancak belirli bir uygulamada "yeterli" önyükleme örnekleri olup olmadığını değerlendirmeye yardımcı olur. Genel olarak, önyükleme örneği boyutuyla ilgili hata , sonsuzluğa giderken nsıfıra ngider ve soru, nküçük önyükleme örneği boyutuyla ilişkili hatanın küçük olması için ne kadar büyük olması gerektiğini sorar.

P değerinde önyükleme belirsizliği. Tahminen p-değeri belirsizlik, pv_est, bootstrap tahmin p-değeri yaklaşık demek 2 x sqrt(pv_est * (1 - pv_est) / N), burada Nönyükleme örnek sayısıdır. Bu geçerlidir pv_est * Nve (1 - pv_est) * Nher ikisi de geçerlidir >= 10. Bunlardan biri 10'dan küçükse, o zaman daha az kesin ancak tahminen aynı mahallede kabaca.

Güven aralığı içinde önyükleme hatası. % 95'lik bir güven aralığı kullanıyorsanız, önyükleme dağılımının niceliklerinin değişkenlik oranının% 2.5 ve% 100 olarak nasıl kontrol edildiğine bakın 2.5 +/- 2 * 100 * sqrt(0.025 * 0.975 / n). Bu formül, alınan önyükleme örneklerinin sayısına bağlı olarak% 95 güven aralığının alt ucundaki belirsizliği bildirir. Benzer bir keşif en üstte yapılmalıdır. Bu tahmin biraz değişkense, daha fazla önyükleme örneği aldığınızdan emin olun!

Başka bir cevapta ortaya çıkan bir şeye cevap vererek başlıyorum: neden " " kadar garip bir sayı (önyükleme örneği sayısı)? $599$

Bu (altta yatan istatistik olduğunda önyükleme denk olan Monte Carlo testleri için de geçerlidir döner ) ve aşağıdakilerden gelir: Test tam olarak ise , daha sonra, arzu edilen anlamlılık seviyesi, ve ise örnek sayısı, aşağıdaki ilişki tutmalı:$\alpha$$B$

Şimdi tipik önem seviyelerini düşünün veα 2 = $\alpha_1 = 0.1$$\alpha_2 = 0.05$

Sahibiz

Bu "eksi ", kesin bir test sağlamak için " " gibi önerilen sayılara neden olur .$599$

Aşağıdaki bilgileri Davidson, R. ve MacKinnon, JG (2000) ' den aldım . Önyükleme testleri: Kaç tane önyükleme? Econometric Reviews, 19 (1), 55-68. (çalışma kağıdı sürümü ücretsiz indirilebilir).

Genel kurallar açısından, yazarlar önyükleme p değerlerinin durumunu inceliyorlar ve seviyesindeki testler için minimum örnek sayısının yaklaşık 400 (yani ) olduğunu ve seviyesindeki bir testin ise 1500 olduğunu söylediler. ).399 0,01 $0.05$$399$$0.01$$1499$

Ayrıca endojen olarak belirlemek için bir ön test prosedürü önerirler . Prosedürlerini simüle ettikten sonra şu sonuca varırlar:$B$

"Ön test prosedürünün neden iyi çalıştığını anlamak kolaydır. Boş hipotez doğruysa, B güvenli bir şekilde küçük olabilir, çünkü güç konusunda hiç endişelenmiyoruz. Benzer şekilde, boş değerin yanlış olduğu ve test gücünün aşırı yüksek olduğu durumlarda, B'nin büyük olması gerekmez, çünkü güç kaybı ciddi bir mesele değildir, ancak null yanlış olduğunda ve test gücü orta derecede yüksek olduğunda, güç kaybını önlemek için B'nin büyük olması gerekir. B büyük olması gerektiğinde güvenle küçük ve büyük olabileceği zaman küçük. ”

Makalenin sonunda, belirlemek için önerilen başka bir prosedürle de karşılaştırırlar ve onların daha iyi performans gösterdiğini bulurlar.$B$

Gördüğüm çoğu önyükleme uygulaması yaklaşık 2.000 ila 100 bin yineleme olduğunu bildirdi. Yeterli yazılımın bulunduğu modern uygulamada, önyükleme ile göze çarpan sorunlar, zaman ve hesaplama kapasitesinden daha fazla istatistiksel olanlardır. Excel kullanan acemi kullanıcılar için, gelişmiş Visual Basic programlamasının kullanılmasını gerektirmeden önce sadece birkaç yüz kişi çalışabilir. Bununla birlikte, R'nin kullanımı çok basittir ve binlerce önyükleme değerinin üretilmesini kolay ve anlaşılır kılar.