Oracle Eşitsizliği: Temel anlamda

Bir şeyi kanıtlamak için oracle eşitsizliğini kullanan bir makaleden geçiyorum ama ne yapmaya çalıştığını bile anlayamıyorum. 'Oracle Eşitsizliği' hakkında çevrimiçi arama yaptığımda, bazı kaynaklar beni "Candes, Emmanuel J." Oracle eşitsizlikleri yoluyla modern istatistiksel tahmin "makalesine yönlendirdi. "burada bulunabilir https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf . Ama bu kitap benim için çok ağır görünüyor ve sanırım bazı önkoşullarım yok.

Sorum şu: Matematik dışı bir ana dalda (mühendisler dahil) oracle eşitsizliğinin ne olduğunu nasıl açıklarsınız? İkincisi, yukarıda belirtilen kitap gibi bir şey öğrenmeye çalışmadan önce önkoşullar / konular hakkında nasıl ilerlemelerini öneriyorsunuz?

Somut bir kavrayışa ve yüksek boyutlu istatistiklerde iyi bir deneyime sahip olan birisinin buna cevap vermesini şiddetle tavsiye ederim.

— Wolcott
kaynak

1 binden fazla itibara sahip herkes bu soruya lütuf teklif edebilir. Bu gerçekten yardımcı olur. Genel CV kullanıcılarının bu konsepte aşina olacağını düşünmüyorum, çünkü çoğu kullanıcı teorik analiz için değil veri analizi için istatistikler kullanıyor, ancak tamamen istatistiklere dayanan bir topluluk olarak, buna yeterince cevap verebilecek biri olması gerektiğine inanıyorum. Sorunun yeterince ilgi görmediğine inanıyorum.

— Wolcott

Aynı soruyu düşündüm

— jeza

"Bir oracle eşitsizliği, gerçek bir kestiricinin performansını, bir kâhin tarafından sağlanan mükemmel bilgilere dayanan ve pratikte mevcut olmayan ideal bir kestiricinin performansı ile ilişkilidir." Bu, tanımın özünü size aktarmıyor mu?

— Mark L. Stone

@Mark L. Stone benim için değil

— jeza

Önceki birkaç cümlede verilen örnek ve tartışmaya, yani Teorem 4.1'in ifadesine ve tartışmasına, kehanet eşitsizliğinin bir örneği olarak baktığınızda bile değil mi? Layman'ın terimleriyle: Gee, kullanmamız gereken büzülme faktörünün optimal değerini (bir kehanet tarafından sağlanan) bilmiyoruz. Ancak büzülme faktörünün optimal değerinin bilinmesi MSE'yi 2'den fazla iyileştirmeyebilir ve kâhinden optimal büzülme faktörüne sahip olmamalıdır.

— Mark L. Stone

Doğrusal durumda açıklamaya çalışacağım. Lineer model göz önünde Zaman (bağımsız değişkenlerin sayısı daha az ya da gözlem sonra sayısına eşit) ve tasarım matrisi tam sırası vardır, en az kare tahmin olan

Y_{ben} = Σ_{j = 1}^{p} β_{j} X_{ben}^{(j)} + ε_{ben}, ben = 1, . . ., n .

$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$

p \leq n

$p \leq n$

b

$b$

ve kestirim hata

\hat{b} = (X^{T} X)^{- 1} X^{T} Y

$\hat{b}=(X^TX)^{-1}X^TY$

olan bizim onlardan

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

Her parametre, yani

kare doğrulukla tahmin edilmektedir

Böylece toplam kare hassasiyetiniz

\frac{E ‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{n} = \frac{σ^{2}}{n} p .

$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$

β_{j}^{0}

$\beta_j^0$

σ^{2} / n, j = 1, . . ., p .

$\sigma^2/n, j=1,...,p.$

(σ^{2} / n) p .

$(\sigma^2/n)p.$

$(p>n)$ $Y$ $k$ $(\sigma^2/n)k.$

$l_1$ $\lambda$ $\hat{\beta}$ $\lambda$ $\lambda$

\frac{‖ X (\hat{β} - β^{0}) ‖_{2}^{2}}{n} \leq c Ö n s t . \frac{σ^{2} günlük p}{n} k .

$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$

\log p

$\log p$

c o n s t .

$const.$

p

$p$

n

$n$

— Dato Gogolashvili
kaynak

Açıkçası, sonraki tüm bölümlerin doğru olması için gözlem sayısının bağımsız değişken sayısından daha az olması gerekmez.

— jbowman

Beklenti denklemini (ikinci-son denklemi) ve eşitsizliği (son denklemi) nasıl aldığını açıklayabilir misiniz?

— user13985

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

(σ^{2} / n) p

$(\sigma^2/n)p$