Sırt regresyonunu kullanırken katsayı standart hatalarını nasıl tahmin edebilirim?

Oldukça çok doğrusal verilerde sırt regresyonunu kullanıyorum. OLS kullanarak çoklu doğrusallık nedeniyle katsayılarda büyük standart hatalar alıyorum. Sırt regresyonunun bu sorunla başa çıkmanın bir yolu olduğunu biliyorum, ancak baktığım sırt regresyonunun tüm uygulamalarında, katsayılar için rapor edilen standart hatalar yok. Belirli katsayıların standart hatalarını ne kadar düşürdüğünü görerek sırt regresyonunun ne kadar yardımcı olduğunu tahmin etmenin bir yolunu istiyorum. Bunları sırt regresyonunda tahmin etmenin bir yolu var mı?

Bence boostrap sağlam SE'ler elde etmek için en iyi seçenek olacaktır. Bu, bazı büzülme yöntemleri kullanılarak uygulanan bazı çalışmalarda, örneğin , Kuzey Amerika Romatoid Artrit Konsorsiyumu verilerinin cezalandırılmış bir lojistik regresyon yaklaşımı kullanılarak analizi (BMC Proceedings 2009) kullanılarak yapıldı. Casella'nın SE hesaplamasında cezalandırılmış model, Cezalandırılmış Regresyon, Standart Hatalar ve Bayesian Lassos ile ilgili güzel bir makale var (Bayesian Analysis 2010 5 (2)). Ancak daha çok kement ve elastik ağ cezalandırmasıyla ilgileniyorlar .

Her zaman sırt regresyonunun, modelin genellikle parsiyel olmadığı standart OLS'den daha iyi tahminler almanın bir yolu olduğunu düşündüm. Değişken seçimi için, kement veya elastik ağ kriterleri daha uygundur, ancak daha sonra bir önyükleme prosedürü uygulamak zordur (çünkü seçilen değişkenler bir örnekten diğerine değişecek ve hatta ℓ optimize etmek için kullanılan iç kat döngüsünde 1 / ℓ 2 parametre); her zaman tüm değişkenleri göz önünde bulundurduğunuz için sırt regresyonunda durum böyle değildir.$k$$\ell_1$$\ell_2$

Bu bilgileri verecek R paketleri hakkında hiçbir fikrim yok. Glmnet paketinde mevcut görünmüyor (bkz. Friedman'ın JSS'deki makalesi , Koordinat İnişiyle Genelleştirilmiş Doğrusal Modeller için Düzenleme Yolları ). Ancak, cezalandırılmış paketi yazan Jelle Goeman da bu noktayı tartışıyor. Orijinal PDF web üzerinde bulunamıyor, bu yüzden sadece onun sözlerini alıntı:

Regresyon katsayılarında veya diğer tahmini miktarlarda standart hatalar istemek çok doğal bir sorudur. Prensip olarak, bu tür standart hatalar, örneğin bootstrap kullanılarak kolayca hesaplanabilir.

Yine de, bu paket kasıtlı olarak bunları sağlamaz. Bunun nedeni, standart hataların cezalandırılmış tahmin yöntemlerinden kaynaklanan kuvvetli önyargılı tahminler için çok anlamlı olmamasıdır. Cezalandırılmış tahmin, önemli önyargı getirerek tahmin edicilerin varyansını azaltan bir prosedürdür. Bu nedenle, her bir kestiricinin sapması, ortalama kare hatasının önemli bir bileşenidir, ancak varyansı sadece küçük bir kısma katkıda bulunabilir.

Ne yazık ki, cezalandırılmış regresyon uygulamalarının çoğunda önyargı hakkında yeterince kesin bir tahmin elde etmek imkansızdır. Herhangi bir önyükleme tabanlı hesaplama sadece tahminlerin varyansının bir değerlendirmesini verebilir. Önyargıya ilişkin güvenilir tahminler, ancak cezai tahminlerin kullanıldığı durumlarda genellikle geçerli olmayan güvenilir tarafsız tahminler varsa kullanılabilir.

Dolayısıyla cezalandırılmış bir tahminde standart bir hata bildirilmesi hikayenin sadece bir kısmını anlatır. Yanlılıktan kaynaklanan yanlışlığı tamamen göz ardı ederek, yanlış bir yanlış izlenim verebilir. Sadece bootstrap tabanlı güven aralıkları gibi tahminlerin varyansının değerlendirilmesine dayanan güven ifadeleri yapmak kesinlikle bir hatadır.

Veri oluşturma sürecinin OLS arkasındaki standart varsayımları takip ettiği varsayılarak sırt regresyonu için standart hatalar aşağıdaki şekilde verilir:

$\sigma^2 (A^T A + \Gamma^T \Gamma)^{-1} A^T A (A^T A + \Gamma^T \Gamma)^{-1}$

Yukarıdaki gösterim, sırt gerilemesi için wiki gösterimini izler . özellikle,

$A$

$\sigma^2$

$\Gamma$

$\Gamma ^T\Gamma$$\text{$\lambda $I}$$\text{I}$$\lambda$integraller ve diğer ters problemler. "Bilimdeki ters bir sorun, bir dizi gözlemden onları üreten nedensel faktörleri hesaplama sürecidir: örneğin, bilgisayarlı tomografide bir görüntünün hesaplanması, akustikte yeniden yapılanan kaynakların veya yerçekiminin ölçümlerinden Dünya'nın yoğunluğunun hesaplanması alanı. burada "SPSS tüm parametrelerin standart sapma verir ve ek parametre buna ek olarak hata yayılma kullanılarak elde edilebilir ek kod içeren bir kağıt .

Tikhonov düzenlenmesi hakkında genellikle yanlış anlaşılan şey, yumuşatma miktarının eğriye uydurmakla çok az ilgisi olduğu, ilgili parametrelerin hatasını en aza indirmek için yumuşatma faktörünün kullanılması gerektiğidir. Sırt regresyonunu bazı geçerli ters problem bağlamında doğru bir şekilde kullanmak için çözmeye çalıştığınız belirli sorun hakkında çok daha fazla açıklama yapmanız gerekir ve yumuşatma faktörlerinin seçimi ile ilgili makalelerin çoğu ve Tikhonov düzenlemesinin yayınlanmış kullanımlarının çoğu biraz sezgisel.

Dahası, Tikhonov düzenlenmesi birçok kişi arasında sadece bir ters problem tedavisidir. Ters Sorunlar dergisinin bağlantısını takip edin .