Neden Bootstrapping'e ihtiyacımız var?

16

Şu anda Larry Wasserman'ın "Tüm İstatistikler" i okuyorum ve parametrik olmayan modellerin istatistiksel işlevlerini tahmin etme bölümünde yazdığı bir şeyden şaşkınım.

O yazdı

"Bazen bazı hesaplamalar yaparak istatistiksel bir işlevin tahmini standart hatasını bulabiliriz. Ancak diğer durumlarda standart hatanın nasıl tahmin edileceği açık değildir".

Bir sonraki bölümde bu konuyu ele almak için bootstrap hakkında konuştuğunu belirtmek isterim, ancak bu ifadeyi gerçekten anlamadığımdan Bootstrapping'in arkasındaki teşviki tam olarak alamıyorum?

Standart hatayı nasıl tahmin edeceğimiz açık değilse ne gibi bir örnek var?

Şimdiye kadar gördüğüm tüm örnekler sonra $X_1,...X_n ~Ber(p)$ $\hat{se}(\hat{p}_n )=\sqrt{\hat{p}\cdot(1-\hat{p})/n}$

— Shookie
kaynak

4

Bir sitede bir önyükleme öneren diğer cevaplar için birçok örnek buluyorum . Bunlar, stats.stackexchange.com/questions/14213 , stats.stackexchange.com/questions/63979 , stats.stackexchange.com/questions/25218 ve çok daha fazlasını içerir.

— whuber

16

İki cevap.

İki ortalama oranının standart hatası nedir? Medyanın standart hatası nedir? Herhangi bir karmaşık istatistiğin standart hatası nedir? Belki kapalı bir form denklemi vardır, ancak henüz kimse bunu yapmamış olabilir.
Formülü, ortalamanın standart hatası (örneğin) için kullanmak için bazı varsayımlar yapmalıyız. Bu varsayımlar ihlal edilirse, yöntemi mutlaka kullanamayız. @Whuber'ın yorumlarda belirttiği gibi, önyükleme bu varsayımların bazılarını rahatlatmamızı sağlar ve bu nedenle daha uygun standart hatalar sağlayabilir (ancak ek varsayımlar da yapabilir).

— Jeremy Miles
kaynak

2

Cevap 1 iyi, ancak cevap 2 soruya yalvarıyor gibi görünüyor, çünkü önyükleme de varsayımlar yapıyor. Demek istediğim bu, genellikle diğer popüler prosedürlerden farklı varsayımlar yapıyor olabilir , ancak bu sadece söylemeye çalıştığınız şey hakkındaki tahminim ve yanılmış olabilirim.

— whuber

@Whuber - teşekkürler, biraz açıklama ekledim.

— Jeremy Miles

5

Düzenlemeler için teşekkür ederim. Ancak, önyüklemenin , aslında bazılarını rahatlatmak yerine tipik olarak farklı varsayımlar yaptığı doğru değil mi? Örneğin, bir örnek ortalamanın bir SE'sini tahmin etmek için gereken varsayımlar, verinin iid olduğu ve temel dağılımın sınırlı bir varyansa sahip olduğudur. Bootstrap aslında bu durumda varsayımlar eklemelidir : örnek boyutu "yeterince büyük" olmadığı sürece çalışmaz. Her ne kadar bu teknikler üzerinde titriyor gibi görünse de, ele almaya çalıştığım şey büyük resim: önyükleme ne her derde deva ne de her zaman uygulanabilir.

— whuber

3

@JeremyMiles önyükleme varsayımlardan muaf değil. Çoğu bootstrap hata hesaplaması için, standart bir hata için tutarlı bir tahminci elde etmekten daha karmaşık olabilen dağıtımın çok önemli olduğunu doğrulamanız gerekir. Ek olarak, araçların oranı δ yönteminden elde edilen çok kolay bir hata yaklaşımına sahiptir. Bu yüzden bu örneğin OP'nin amacına aykırı olduğunu düşünmüyorum.

— AdamO

9

Bir örnek açıklamaya yardımcı olabilir. Nedensel bir modelleme çerçevesinde, (ilgilenilen bir pozlama) ile (ilgilenilen bir sonuç ) arasındaki ilişkiye bir değişken aracılık edip etmediğini belirlemek istediğinizi varsayalım . Bu, iki regresyon modelinde: $X$ $Y$ $W$

\begin{array}{rcl} E [Y | X] & = & β_{0} + β_{1} X \\ E [Y | X, W] & = & γ_{0} + γ_{1} X + γ_{2} W \end{array}

$\begin{eqnarray} E[Y|X] &=& \beta_0 + \beta_1 X \\ E[Y|X, W] &=& \gamma_0 + \gamma_1 X + \gamma_2 W \\ \end{eqnarray}$

Etkisi etkisi farklıdır . $\beta_1$ $\gamma_1$

Örnek olarak, sigara kullanımı ile kardiyovasküler (CV) risk arasındaki ilişkiyi ele alalım. Sigara içmek, damarların kırılgan ve kireçlenmesine neden olarak CV riskini (kalp krizi ve inme gibi olaylar için) açıkça artırır. Bununla birlikte, sigara içmek de iştah bastırıcıdır. Bu nedenle, sigara içme ve CV riski arasındaki tahmini ilişkiye, bağımsız olarak CV riski için bir risk faktörü olan BMI aracılık edip etmediğini merak ediyoruz. Burada , lojistik regresyon modelinde ikili bir olay (miyokardiyal veya nörolojik enfarktüs) veya koroner arter kalsifikasyonu (CAC), sol ventrikül ejeksiyon fraksiyonu (LVEF) veya sol ventrikül kütlesi (LVM) gibi sürekli bir değişken olabilir. $Y$

İki modele 1 uyacağız: sigara içme ve sonuç ile birlikte yaş, cinsiyet, gelir ve ailevi kalp hastalığı öyküsü gibi diğer çelişkilerle ayarlama: 2: önceki tüm ortak değişkenler ve vücut kitle indeksi. Model 1 ve 2 arasındaki sigara içme etkisindeki fark, çıkarımızı dayandırdığımız yerdir.

hipotezlerini test etmekle ilgileniyoruz

\begin{array}{rcl} H & : & β_{1} = γ_{1} \\ K & : & β_{1} \neq γ_{1} \end{array}

$\begin{eqnarray} \mathcal{H} &:& \beta_1 = \gamma_1\\ \mathcal{K} &:& \beta_1 \ne \gamma_1\\ \end{eqnarray}$

Olası bir etki ölçümü şunlar olabilir: veya veya herhangi bir sayıda ölçüm. ve için olağan tahmin edicileri kullanabilirsiniz . Bu tahmin edicilerin standart hatası türetmek çok karmaşıktır. Bununla birlikte, bunların dağılımını önyüklemek yaygın olarak uygulanan bir tekniktir ve değerini doğrudan bundan hesaplamak kolaydır . $T = \beta_1 - \gamma_1$ $S = \beta_1 / \gamma_1$ $T$ $S$ $p$

— Adamo
kaynak

Sanırım bu cevapla nereye gittiğini anlıyorum, ama detaylardan şaşkınım.

ve

açıklamalarınızdaki parametrelerin üzerine şapka koymak istediniz mi ? Bu metinler kestiricilerden ziyade bir modelin özellikleri olmalıdır. Bunun gibi iki farklı modelin özelliklerini karıştırmanın anlamı nedir ? Gerçekten şapka demek istediyseniz,

ve

, tahmin ediciler olarak kullanılacak istatistiklerdir, ancak neyi tahmin etmeyi amaçlamaktadırlar?

T

$T$

S

$S$

T

$T$

S

$S$

— whuber

T

$T$

S

$S$

γ_{2} = 0

$\gamma_2 = 0$

@whuber Ah karışıklığı görüyorum. Lütfen MacKinnon tarafından önerilen bir makaleye bakın .

— AdamO

T

$T$

S

$S$

T

$T$

T

$T$

T

$T$

2

Her bir istatistiksel ölçüm için parametrik çözümlere sahip olmak arzu edilir, ancak aynı zamanda oldukça gerçekçi değildir. Bootstrap bu durumlarda kullanışlıdır. Aklıma gelen örnek, yüksek derecede çarpık maliyet dağılımının iki yolu arasındaki farkla ilgilidir. Bu durumda, klasik iki örnekli t-testi teorik gereksinimlerini karşılayamaz (araştırılan örneklerin uzun sağ kuyrukları nedeniyle kesinlikle normalden ayrılır) ve parametrik olmayan testler iletilmez karar vericilere (genellikle rütbelerle ilgilenmeyen) faydalı bilgiler. Bu konuda takılmayı önlemek için olası bir çözüm, iki örnekli bir bootstrap t-testidir.

— Carlo Lazzaro
kaynak