Büzülme akıllıca uygulanırsa, daha verimli tahminciler için her zaman daha iyi çalışır mı?

Aynı parametrenin tutarlı tahmin edicileri olan ve iki tahmincim olduğunu ve ile anlamında . Dolayısıyla, asimptotik olarak daha etkilidir . Bu iki tahminci farklı kayıp fonksiyonlarına dayanmaktadır. $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$

V_{1} \leq V_{2}

$V_1 \leq V_2$

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

Şimdi, tahmincilerimin sonlu örnek özelliklerini geliştirmek için bazı büzülme tekniklerini aramak istiyorum.

Sonlu bir örnekte ve bana eşit MSE değerini veren bir büzülme tekniği bulduğumu varsayalım . Bu bana MSE den daha büyük olmayacak için geçerli bir büzülme tekniği bulabileceğim anlamına mı geliyor ? $\widehat{\beta}_2$ $\widehat{\gamma}_2$ $\widehat{\beta}_1$ $\widehat{\gamma}_2$

Başka bir deyişle, büzülme akıllıca uygulanırsa, daha verimli tahminciler için her zaman daha iyi çalışır mı?

— Alik
kaynak

Yanıtlar:

Kuşkusuz biraz sıkıcı bir karşı örnek önereyim. Söyle den sadece asimptotik daha etkili değildir , aynı zamanda Cramer Rao alt sınırı ulaşır. İçin bir akıllı çekme tekniği ile . Asimptotik varyans $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$ bir

V^{*} = A v a r (w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}) = A v a r (w ({\hat{β}}_{2} - {\hat{β}}_{1}) + {\hat{β}}_{1}) = V_{1} + w^{2} (V_{2} - V_{1})

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$ , son eşitliğin Lemma'yıHausman'ın gazetesi . Biz

V_{2} - V^{*} = V_{2} (1 - w^{2}) - V_{1} (1 - w^{2}) \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$ , böylece bir asimptotik bir risk iyileştirilmeleri (eğilim terimler vardır) vardır. Biz üzerinde bir miktar Asymptotic (ve dolayısıyla umarım sonlu örnek) iyileştirmeler veren bir büzülme tekniğini buldu Yani

. Oysa hiçbir benzer büzülme tahmincisi var

Bu prosedürün takip eder.

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

Elbette buradaki nokta, büzülmenin verimli tahmin ediciye doğru yapılması ve bu nedenle verimli tahmin edicinin kendisi için geçerli olmamasıdır. Bu yüksek düzeyde oldukça açık gibi görünüyor, ancak belirli bir örnekte bu o kadar açık değildir ( tekdüze dağılım için MLE ve Momentler Yöntemi tahmincisi bir örnek olabilir mi?).

— Matthias Schmidtblaicher
kaynak

İlginç örnek için teşekkürler! (1) Ancak, bu bir karşı örnek olarak değerlendirilmesi gerektiğini bana net değil: hem asimptotik var ve bu göstermez

aynı veya daha düşük riske sahip olarak geliştirilmiş edilemez. (Aslında, senin

otomatik, en iyi, aynı riski vardır

.) Amacıyla counterexample, modifiye tahmincisi riskini sağlamak için

riski daha az olması gerekmektedir

ve bu düzeni ile mümkün olduğunu açık değil.

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

— user795305

Teşekkürler ve alınan puanlar. Beni ancak hiçbir yerde söz konusu o belirtildi işaret edelim ki modifiye MSE

daha düşük olması gerekir

. Yani

bu bağlamda geçerli bir büzülme tekniğidir. Ama bunun sadece kısmi bir cevap olduğuna katılıyorum ve diğer insanların bu soru hakkında ne söyleyeceklerini görmek için sabırsızlanıyorum.

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

— Matthias Schmidtblaicher

"Bulduğumu varsayalım ..." ile başlayan paragrafta OP bunu belirtmiş gibi görünüyor. Yanlış anlıyor muyum? Daha sonra gelende, yıldız böylece değiştirilmiş tahmin edicileri gösterelim

bazı (belki büzülme) fonksiyonları için

. Bulmak biz düşünelim

, böylece

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$ . Başvurulan paragrafta, OP bazı bulabilirsek sorar

böylece

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

— user795305

Anlıyorum. Eğer soru bu ise,

basitçe kimliktir ve cevap örnekte olumludur. Biz bir işlev bulabilirsem ben soruyu okuma"

olacak şekilde

, bir orada mevcut mu

ve böylece

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

— Matthias Schmidtblaicher

Bu krediyi paylaştığınız için teşekkürler, sorunuzu gerçekten yanıtlamamış olsam da ...

— Matthias Schmidtblaicher

-2

Bu, önce bazı önemli noktalara dikkat çekmek istediğim ilginç bir soru.

İki tahminci tutarlıdır
daha verimlidirdaha az varyasyon elde yana $\hat{\beta}_1$ $\hat\beta_2$
Kayıp fonksiyonları aynı değil
bir büzülme yöntemi, daha iyi bir tahmin edicinin sonuçlandığı varyasyonu azaltmak için birine uygulanır
Soru : Başka bir deyişle, büzülme akıllıca uygulanırsa, daha verimli tahmin ediciler için her zaman daha iyi çalışır mı?

Temel olarak, bir tahmin ediciyi tarafsız tahminci sınıfı gibi belirli bir çerçevede geliştirmek mümkündür. Bununla birlikte, belirttiğiniz gibi, bir kayıp fonksiyonu kuadratik kaybı en aza indirirken diğeri entropiyi en aza indirdiğinden, farklı kayıp fonksiyonları durumu zorlaştırır. Dahası, "her zaman" kelimesini kullanmak çok zordur, çünkü eğer bir tahminci sınıfın en iyisi ise, mantıksal olarak konuşursak daha iyi bir tahmin edemezsiniz.

(Aynı çerçevede) basit bir örnek, iki tahmin edicileri, yani bir köprü (ceza ile regresyon izin normu cezası) ve sürükleyerek (NORM ceza olabilirlik) ve birtakım parametreler seyrek bir dizi , bir lineer model , hata teriminin normallik, , bilinen , ikinci dereceden kayıp fonksiyonu (en küçük kare hataları), ve değişkenlerin bağımsızlık . için seçelim $l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ birinci tahminci için ve ikinci tahminci için. Daha sonra , daha düşük varyansa sahip daha iyi bir tahminci olan seçerek tahmincileri iyileştirebilirsiniz . Sonra bu örnekte tahminciyi geliştirme şansı vardır. $p=2$ $p\rightarrow 1$

Dolayısıyla, aynı tahmin ediciler ailesini ve aynı kayıp fonksiyonunu ve varsayımları varsayarsak, sorunuza cevabım evet.

— TPArrow
kaynak

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

l_{p}

$l_p$

l_{1}

$l_1$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$

p = 2, 3

$p=2,3$

@Ben teşekkürler, büzülme tanımında fikir birliği olmadığını hissediyorum. Bunu bir post-process gibi kabul edersiniz, fakat benim için satır içi işlem olarak. Bence ikimiz de haklıyız çünkü soru büzülme türünü hesaba katmıyor. PS: Sanırım büzülmeden ne demek sert eşik gibi.

— TPArrow

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$