«shrinkage» etiketlenmiş sorular

Ridge regresyon tahminleri parametreleri doğrusal bir model içinde ile burada \ lambda bir düzenleme parametresidir. İlişkili pek çok yordayıcı olduğunda genellikle OLS regresyonundan ( \ lambda = 0 ile ) daha iyi performans gösterdiği iyi bilinmektedir .y = x β β λ = ( X ⊤ x + λ I …

16 regression  ridge-regression  shrinkage 

Biz veri kümesi ile başlar , buna Lasso uygulanır ve bir çözelti elde etmek β L , Veri kümesi için tekrar Lasso uygulayabilir ( X S , Y ) , S sıfır olmayan kümesidir indeksleri β L , bir çözüm elde etmek için β R L olarak adlandırılan 'rahat Kement' …

16 regression  optimization  lasso  regularization  shrinkage 

Bu sitede aynı sorundan bahseden bir yazı zaten var: Büzülme neden işe yarıyor? Ancak, cevaplar popüler olmasına rağmen, sorunun özünün gerçekten ele alındığına inanmıyorum. Tahminde bazı yanlılıkların ortaya çıkmasının varyansta azalmaya neden olduğu ve tahmin kalitesini artırabileceği oldukça açıktır. Ancak: 1) Önyargı getirerek verilen hasar neden varyans kazancına kıyasla daha …

15 regularization  ridge-regression  shrinkage 

James-Stein büzülme fikri ile alınıyorum (yani, muhtemelen bağımsız normallerden oluşan bir vektörün tek bir gözleminin doğrusal olmayan bir işlevi, 'daha iyi' nin kare hata ile ölçüldüğü rasgele değişkenlerin ortalamalarının daha iyi bir tahmincisi olabilir. ). Ancak, bunu uygulamalı çalışmalarda hiç görmedim. Açıkçası yeterince iyi değilim. James-Stein'ın uygulamalı bir ortamda tahmini …

15 estimation  error  shrinkage  application  steins-phenomenon 

ceza dönemi katsayısının optimum seçimine ilişkin analitik sonuçlar veya deneysel makaleler var mı ? By optimum , en iyi modeli, ya da bu en aza indirir beklenen kayıp seçilmesi olasılığını maksimize bir parametre anlamına gelir. Ben soruyorum çünkü sık sık çapraz doğrulama veya önyükleme ile parametre, ya çok sayıda örnek …

15 model-selection  lasso  shrinkage 

Büzülme sözcüğü belirli çevrelerde çok fazla atılır. Ama büzülme nedir, net bir tanım yok gibi görünüyor. Bir zaman serim varsa (ya da herhangi bir sürecin herhangi bir gözlem koleksiyonuna sahipsem), serideki ampirik büzülmeyi ölçmenin farklı yolları nelerdir? Bahsetebileceğim farklı teorik büzülme türleri nelerdir? Büzülme öngörüye nasıl yardımcı olabilir? İnsanlar iyi …

13 estimation  predictive-models  shrinkage 

Zou ve diğ. "Kementin" serbestlik dereceleri " (2007), sıfır olmayan katsayıların sayısının, kementin serbestlik dereceleri için tarafsız ve tutarlı bir tahmin olduğunu göstermektedir. Bana biraz mantıksız geliyor. Bir regresyon modelimiz olduğunu varsayalım (değişkenlerin sıfır ortalaması olduğu yerlerde) y=βx+ε.y=βx+ε.y=\beta x + \varepsilon. değerinin sınırsız OLS tahmini olduğunu varsayalım . Çok düşük …

12 regression  lasso  degrees-of-freedom  shrinkage 

Bu arada LASSO (en az mutlak büzülme ve seçim operatörü) okuyorum . Düzenleme parametresi için en uygun değerin çapraz doğrulama ile seçilebildiğini görüyorum. Ben de sırt regresyonunda ve regülasyonu uygulayan birçok yöntemde görüyorum, optimal regülasyon parametresini (ceza söyleyerek) bulmak için CV'yi kullanabiliriz. Şimdi sorum parametrenin üst ve alt sınırı için …

12 lasso  regularization  shrinkage 

Aynı parametrenin tutarlı tahmin edicileri olan ve iki tahmincim olduğunu ve ile anlamında . Dolayısıyla, asimptotik olarak daha etkilidir . Bu iki tahminci farklı kayıp fonksiyonlarına dayanmaktadır. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0V1≤V2 β 1 β 2n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)V1≤V2V1≤V2V_1 \leq V_2βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2 Şimdi, tahmincilerimin sonlu örnek özelliklerini …

11 regression  ridge-regression  shrinkage  penalized 

James-Stein tahmincisinin bulduğum her ifade, tahmin edilen rastgele değişkenlerin aynı (ve birim) varyansa sahip olduğunu varsayar. Ancak bu örneklerin tümü, JS tahmincisinin, birbirleriyle hiçbir ilgisi olmayan miktarları tahmin etmek için kullanılabileceğinden de bahsetmektedir. Wikipedia örneği Montana ışık, Tayvan çay tüketimi ve domuz ağırlığının hızıdır. Ancak muhtemelen bu üç miktardaki ölçümleriniz …

11 estimation  shrinkage  steins-phenomenon 

Basit bir örnek uğruna iki doğrusal regresyon modeli olduğunu varsayalım. Model 1 sahiptir üç belirleyicileri x1a, x2bvex2c Model 2, model 1'den üç öngörücüye ve iki ek öngörücüye sahiptir x2avex2b Kitle varyansı olduğu açıklanmıştır nüfus regresyon denklemi vardır Model 1 için ve Model 2 için artan varyans nüfus içinde Model 2 …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Formun boyuna verilerine sahip olduğumu varsayalım Y =(Y1, … ,YJ) ∼ N( μ , Σ )Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)(Birden fazla gözlemim var, bu sadece tek bir form). İle ilgili kısıtlamalarla ilgileniyorumΣΣ\Sigma. KısıtlanmamışΣΣ\Sigma almaya eşdeğerdir Yj=αj+Σℓ = 1j - 1φℓ jYj - ℓ+εjYj=αj+∑ℓ=1j−1ϕℓjYj−ℓ+εj Y_j = …

9 feature-selection  lasso  shrinkage 

olarak eşleştirilmiş gözlemlerim olduğunu varsayalım için . Let ile ve göstermektedirler inci gözlenen en büyük değeri . ın (koşullu) dağılımı nedir? (ya da eşit şekilde, bunun )Xi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i,ZijZijZ_{i_j}jjjZZZXijXijX_{i_j}YijYijY_{i_j} Olduğunu, dağılımı nedir şartına olmanın inci en büyük gözlemlenen değerlere ?XiXiX_iZiZiZ_ijjjnnnZZZ Ben tahmin ediyorum …

9 distributions  order-statistics  shrinkage 

Lojistik regresyon bağlamında özellik seçimi için permütasyon analizi konusunda kafam karıştı. Rastgele permütasyon testinin net bir açıklamasını verebilir misiniz ve özellik seçimi için nasıl uygulanır? Muhtemelen tam algoritma ve örneklerle. Son olarak, Kement veya LAR gibi diğer büzülme yöntemleriyle nasıl karşılaştırılır?

9 regression  logistic  feature-selection  permutation-test  shrinkage