«ridge-regression» etiketlenmiş sorular

Primal , Dual ve Kernel Ridge Regresyonu arasındaki fark nedir ? İnsanlar her üçünü de kullanıyor ve herkesin farklı kaynaklarda kullandığı farklı gösterimden dolayı benim için zor. Birisi bana bu üç kelime arasındaki farkın ne olduğunu basit bir şekilde söyleyebilir mi? Ayrıca, her birinin avantajları ve dezavantajları neler olabilir ve …

19 regression  kernel-trick  ridge-regression 

Bu kement grafiğinden (glmnet) çıkarılacak soru , kement tahmin edicisinin monotonik olmayan çözüm yollarını gösterir. Yani, bazı katsayılar küçülmeden önce mutlak değerde büyürler. Bu modelleri birkaç farklı veri setine uyguladım ve bu davranışı "vahşi doğada" hiç görmedim ve bugüne kadar her zaman monotonik olduklarını varsaymıştım . Çözelti yollarının monoton olduğu …

18 lasso  ridge-regression  elastic-net 

Oldukça çok doğrusal verilerde sırt regresyonunu kullanıyorum. OLS kullanarak çoklu doğrusallık nedeniyle katsayılarda büyük standart hatalar alıyorum. Sırt regresyonunun bu sorunla başa çıkmanın bir yolu olduğunu biliyorum, ancak baktığım sırt regresyonunun tüm uygulamalarında, katsayılar için rapor edilen standart hatalar yok. Belirli katsayıların standart hatalarını ne kadar düşürdüğünü görerek sırt regresyonunun …

18 standard-error  ridge-regression 

Metin sınıflandırması için bir deney sırasında, SVM, NB, kNN, vb. parametrelerle ilgili bazı basit ayarlamalar dışında, bu belirli metin sınıflandırma görevindeki her bir sınıflandırıcıyı optimize etme konusunda. Bu sonuç Dikran Marsupial'dan da bahsedildi . İstatistik arka planından gelmiyorum, çevrimiçi bazı materyalleri okuduktan sonra, bunun ana nedenlerini hala anlayamıyorum. Herkes böyle …

18 machine-learning  classification  text-mining  ridge-regression 

Kestirimci modeller oluştururken düzenlileşmenin yararlarını biliyorum (sapma ve varyans, aşırı takmayı önleme). Ancak, regresyon modelinin temel amacı katsayılara çıkarım olduğunda (hangi öngörücülerin istatistiksel olarak anlamlı olduğunu görmek) düzenlileştirme (kement, sırt, elastik ağ) yapmanın iyi bir fikir olup olmadığını merak ediyorum. İnsanların düşüncelerini ve bununla ilgili akademik dergilere veya akademik olmayan …

18 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Bir dizi 150 özelliğim var ve bunların birçoğu birbiriyle yüksek derecede korelasyonlu. Amacım aralığı 1-8 olan ayrık bir değişkenin değerini tahmin etmektir . Örneklem boyutum 550 ve 10 kat çapraz doğrulama kullanıyorum. AFAIK, düzenlileştirme yöntemleri (Kement, Elastik Ağ ve Sırt) arasında Ridge, özellikler arasındaki korelasyon için daha titizdir. Bu yüzden …

18 regression  lasso  regularization  ridge-regression  elastic-net 

LASSO ve sırt gibi cezalandırılmış regresyon tahmin edicilerinin, belirli öncelikleri olan Bayesci tahmin edicilere karşılık geldiği söylenir. Sanırım (Bayes istatistikleri hakkında yeterince bilgim yok), sabit bir ayar parametresi için önceden karşılık gelen bir beton var. Şimdi bir frekansçı ayar parametresini çapraz doğrulamayla optimize edecektir. Bunu yapmanın bir Bayesian eşdeğeri var …

17 bayesian  lasso  ridge-regression 

Ridge Regression'ı bir Python / C modülünde uyguluyorum ve bu "küçük" problemle karşılaştım. Fikir, etkin serbestlik derecelerini aşağı yukarı eşit aralıklarla ( "İstatistiksel Öğrenmenin Öğeleri" sayfa 65'teki çizim gibi ) örneklemek istiyorum, yani örnek: df(λ)=∑i=1pd2id2i+λ,df(λ)=∑i=1pdi2di2+λ,\mathrm{df}(\lambda)=\sum_{i=1}^{p}\frac{d_i^2}{d_i^2+\lambda},d2idi2d_i^2XTXXTXX^TXdf(λmax)≈0df(λmax)≈0\mathrm{df}(\lambda_{\max})\approx 0 iladf(λmin)=pdf(λmin)=p\mathrm{df}(\lambda_{\min})=p . İlk sınırı belirlemenin kolay bir yolu,λmax=∑pid2i/cλmax=∑ipdi2/c\lambda_{\max}=\sum_i^p d_i^2/c ( varsayarak)izin vermektirλmax≫d2iλmax≫di2\lambda_{\max} \gg d_i^2; …

17 ridge-regression 

Standart bir OLS regresyon problemini düşünün\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}YY\YXX\Xββ\BΒ = argmin β { L } = ( x ⊤ X ) + X ⊤ Y .L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2.β^=argminβ{L}=(X⊤X)+X⊤Y.β^=argminβ⁡{L}=(X⊤X)+X⊤Y.\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y. Ben aynı zamanda bir "ters" Sorun oluşturabilir: Verilen YY\Y ve β∗β∗\B^* bulmak X^X^\hat\X doğuracak β^≈β∗β^≈β∗\hat\B\approx \B^* , yani minimize edecek ∥argminβ{L}−β∗∥2‖argminβ⁡{L}−β∗‖2\|\argmin_\B\{L\}-\B^*\|^2 . …

16 regression  least-squares  ridge-regression 

LASSO regresyonunu açıklarken, genellikle bir elmas ve dairenin diyagramı kullanılır. LASSO'daki kısıtlamanın şekli bir elmas olduğu için, elde edilen en küçük kareler çözeltisinin, bazı değişkenlerin büzülmesine yol açacak şekilde elmasın köşesine dokunabileceği söylenir. Bununla birlikte, sırt regresyonunda, bir daire olduğu için, genellikle eksene dokunmaz. Neden eksene temas edemediğini veya bazı …

16 regression  lasso  ridge-regression 

Ridge regresyon tahminleri parametreleri doğrusal bir model içinde ile burada \ lambda bir düzenleme parametresidir. İlişkili pek çok yordayıcı olduğunda genellikle OLS regresyonundan ( \ lambda = 0 ile ) daha iyi performans gösterdiği iyi bilinmektedir .y = x β β λ = ( X ⊤ x + λ I …

16 regression  ridge-regression  shrinkage 

Kement veya sırt regresyonunda, kişi genellikle veya α olarak adlandırılan bir büzülme parametresi belirtmelidir . Bu değer, genellikle en iyi, örneğin verir eğitim verileri ve görme farklı değerlerin bir grup kontrol çapraz doğrulama yoluyla seçilir R 2 test verileri ile. Kişinin kontrol etmesi gereken değer aralığı nedir? Öyle mi ( …

16 regression  lasso  regularization  ridge-regression  penalized 

Bu sitede aynı sorundan bahseden bir yazı zaten var: Büzülme neden işe yarıyor? Ancak, cevaplar popüler olmasına rağmen, sorunun özünün gerçekten ele alındığına inanmıyorum. Tahminde bazı yanlılıkların ortaya çıkmasının varyansta azalmaya neden olduğu ve tahmin kalitesini artırabileceği oldukça açıktır. Ancak: 1) Önyargı getirerek verilen hasar neden varyans kazancına kıyasla daha …

15 regularization  ridge-regression  shrinkage 

Doğrusal regresyon modellerinde LASSO, sırt ve elastik-net regülasyonun farkındayım. Soru: Bu (veya benzeri) cezalandırılmış bir tahmin ARIMA modellemesine (boş MA parçası olmadan) uygulanabilir mi? ARIMA modellerini oluştururken, önceden seçilmiş bir maksimum gecikme sırasını ( , ) düşünün ve ardından bazı en uygun siparişi seçin ve q \ leqslant q_ {max} …

15 time-series  arima  lasso  regularization  ridge-regression 

Ben gitmek için olup olmadığını görmek çalışıyorum sırt regresyon , kement , temel bileşenler regresyon (PCR) veya Kısmi En Küçük Kareler değişkenler / özellikler (çok sayıda olduğu yerde bir durumda (PLS) ppp ) ve numunelerin daha az sayıda ( ) ve hedefim tahmin.n<pn<pn n , çoğu zaman p>10np>10np>10n ; Değişkenler …

15 regression  pca  lasso  ridge-regression  partial-least-squares