Cezalandırılmış regresyon modelinden R-kare ve istatistiksel anlamlılığın tahmin edilmesi

Cezalandırılan R paketini , çok sayıda tahmin ediciye ve hangilerinin önemli olduğuna dair çok az bilgiye sahip olduğum bir veri kümesi için küçültülmüş katsayı tahminleri elde etmek için kullanıyorum. L1 ve L2 ayarlama parametrelerini seçtikten ve katsayılarımdan memnun kaldıktan sonra, modelin R-kare gibi bir şeyle özetlenmesinin istatistiksel olarak sağlam bir yolu var mı?

Ayrıca, modelin genel önemini test etmekle ilgileniyorum (yani R² = 0 mı, yoksa tüm = 0'ı mı yapıyor).

Burada sorulan benzer bir sorunun cevabını okudum , ama soruma cevap vermedi. Orada kullanıyorum o R paketi üzerinde mükemmel bir öğretici var burada ve yazar Jelle Goeman cezalandırılmış regresyon modellerinden güven aralıkları ile ilgili öğretici sonuna aşağıdaki notu vardı:

Regresyon katsayılarında veya diğer tahmini miktarlarda standart hatalar istemek çok doğal bir sorudur. Prensip olarak, bu tür standart hatalar, örneğin bootstrap kullanılarak kolayca hesaplanabilir.

Yine de, bu paket kasıtlı olarak bunları sağlamaz. Bunun nedeni, standart hataların cezalandırılmış tahmin yöntemlerinden kaynaklanan kuvvetli önyargılı tahminler için çok anlamlı olmamasıdır. Cezalandırılmış tahmin, önemli önyargı getirerek tahmin edicilerin varyansını azaltan bir prosedürdür. Bu nedenle, her bir kestiricinin sapması, ortalama kare hatasının önemli bir bileşenidir, ancak varyansı sadece küçük bir kısma katkıda bulunabilir.

Ne yazık ki, cezalandırılmış regresyon uygulamalarının çoğunda önyargı hakkında yeterince kesin bir tahmin elde etmek imkansızdır. Herhangi bir önyükleme tabanlı hesaplama yalnızca tahminlerin varyansını değerlendirebilir. Önyargıya ilişkin güvenilir tahminler, ancak cezai tahminlerin kullanıldığı durumlarda genellikle geçerli olmayan güvenilir tarafsız tahminler varsa kullanılabilir.

Dolayısıyla cezalandırılmış bir tahminde standart bir hata bildirilmesi hikayenin sadece bir kısmını anlatır. Yanlılıktan kaynaklanan yanlışlığı tamamen göz ardı ederek, yanlış bir yanlış izlenim verebilir. Sadece bootstrap tabanlı güven aralıkları gibi tahminlerin varyansının değerlendirilmesine dayanan güven ifadeleri yapmak kesinlikle bir hatadır.

— Stephen Turner
kaynak

Tabii ki hızlı bir şekilde R-kare tahmini elde edebilmemin bir yolu, orijinal verilerden takılan değerleri tahmin eden ve R-kare şeklini alarak doğrusal bir model yerleştirmektir. Ancak bu, R-kare için devasa ve fazla önyargılı ve önyargılı bir tahmin gibi görünüyor.

— Stephen Turner

Yakındaki bir gönderide "benzer" bir soru sorduğum için bunu bir yorum olarak ekliyorum (bu yüzden bir cevap vermek için uygun olup olmadığımı bilmiyorum ), ancak sorunuz için özellikle herhangi bir şeye ihtiyaç duymadan R kare hesaplayabilirsiniz dağılımsal varsayımlar (hipotez testleri için sıradan bir şekilde gereklidir). R kare değerini hesaplamak için bir tutma seti kullanamazsınız veya yeterli veriye sahip değilseniz k katlama doğrulaması kullanamazsınız (her katmanda tam cezalandırılan işleminizi gerçekleştirir ve katlamaların her birinden gelen r-karelerini ortalama değil kullanılan)?

— B_Miner

@B_Miner,

kat çapraz geçerlilik oldukça eğimli tahminleri elde eğilimi

k

$k$

R^{2}

$R^2$ genellikle ilgi konusu gerçek miktarı tahmin değil gibi. Birçok (en çok?) Benzer prosedür aynı soruna sahiptir.

— kardinal

@Stephen,

gerçekten ilgilendiğiniz miktar mı? Cezalandırmanın neden olduğu önyargı nedeniyle, önyargı hakkında çok iyi bir tahmininiz yoksa, yalnızca açıklanan varyansa bakmak muhtemelen arzu edilmez. Kullanmanın fikrine

çıkarım için bir temel olarak tahminlerin sapmasızlık esas alınmaktadır. Regresyon hakkındaki büyük ders kitapları bile bunu "unutuyor" gibi görünüyor. (Bkz, örneğin, Seber ve Lee biraz hatalı tedavi yöntemidir

çoklu regresyon durumda.)

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— ana

R^{2}

$R^2$

Yanıtlar:

Jelle'nin verdiği yorumlara ilk tepkim "önyargı-şmi". "Büyük miktarda yordayıcı" ile ne demek istediğiniz konusunda dikkatli olmalısınız. Bu, aşağıdakilerle ilgili olarak "büyük" olabilir:

Veri noktası sayısı ("büyük p küçük n")
Değişkenleri araştırmanız için gereken süre
Dev bir matrisi ters çevirmenin hesaplama maliyeti

Tepkim 1. noktaya göre "büyük" e dayanıyordu. Bunun nedeni, bu durumda aldığınız varyansın azaltılması için genellikle önyargıda değiş tokuşa değer olmasıdır. Önyargı sadece "uzun vadede" önemlidir. Eğer küçük bir örneğiniz varsa, o zaman "uzun vadede" kimin umurunda?

$R^2$ $R^2$

İdeal olarak bu "tahmin hatası" modelleme durumunuzun bağlamına dayanmalıdır. Temel olarak "Modelim verileri ne kadar iyi üretir?" Durumunuzun bağlamı, gerçek dünyada "ne kadar iyi" nin ne anlama geldiğini size söyleyebilmelidir. Daha sonra bunu bir çeşit matematik denklemine çevirmeniz gerekir.

Ancak, sorudan uzaklaşacak hiçbir bağlamım yok. Bir "varsayılan" Yani BASINDA gibi bir şey olurdu: modeli parametreleri etkilemez). Toplamadaki terimler "silme kalıntıları" olarak da bilinir. Bu işlem yapmak için çok fazla pahalıysa

P R E S S = \sum_{i = 1}^{N} (Y_{i} - {\hat{Y}}_{i, - i})^{2}

$PRESS=\sum_{i=1}^{N} (Y_{i}-\hat{Y}_{i,-i})^2$

{\hat{Y}}_{i, - i}

$\hat{Y}_{i,-i}$

Y_{i}

$Y_{i}$

Y_{i}

$Y_i$

N

$N$

T

$T$

M

$M$

G = \frac{T}{M}

$G=\frac{T}{M}$

N_{g} = \frac{N \times M}{T}

$N_{g}=\frac{N\times M}{T}$

P R E S S = \sum_{g = 1}^{G} \sum_{i = 1}^{N_{g}} (Y_{i g} - {\hat{Y}}_{i g, - g})^{2}

$PRESS=\sum_{g=1}^{G}\sum_{i=1}^{N_{g}} (Y_{ig}-\hat{Y}_{ig,-g})^2$

\frac{β_{L A S S O}}{β_{U N C O N S T R A I N E D}}

$\frac{\beta_{LASSO}}{\beta_{UNCONSTRAINED}}$

— probabilityislogic
kaynak

k

$k$

p > n

$p > n$

> 1

$> 1$

R paketi hdm ve Stata paketi lassopack , kement için ortak bir önem testini destekler. Teori, öngörücülerin sayısının gözlem sayısına göre büyük olmasına izin verir. Testin arkasındaki teori ve nasıl uygulanacağı hdm belgelerinde kısaca açıklanmıştır . Kısacası, teoriye dayalı cezalandırma çerçevesine dayanmaktadır (Belloni, Chernozhukov ve Hansen ve ark. Tarafından geliştirilmiştir). Altta yatan teori hakkında daha fazla bilgi edinmek istiyorsanız, bu makale iyi bir başlangıç noktasıdır. Tek dezavantajı, testin sadece kement ve (kare köklü kement) için çalışmasıdır. Diğer cezalandırılmış regresyon yöntemleri için geçerli değildir.

Belloni, A., Chen, D., Chernozhukov, V. ve Hansen, C. (2012), Seçkin Alanlara Uygulanan Optimal Enstrümanlar için Seyrek Modeller ve Yöntemler. Econometrica, 80: 2369-2429.

— aahr1
kaynak

lütfen makalenin tam referansını ekleyiniz (bir link ölebilir)

— Antoine