Kement için optimum ceza seçimi

15

ceza dönemi katsayısının optimum seçimine ilişkin analitik sonuçlar veya deneysel makaleler var mı ? By optimum , en iyi modeli, ya da bu en aza indirir beklenen kayıp seçilmesi olasılığını maksimize bir parametre anlamına gelir. Ben soruyorum çünkü sık sık çapraz doğrulama veya önyükleme ile parametre, ya çok sayıda örnek nedeniyle ya da eldeki sorunun boyutu nedeniyle seçmek pratik değildir. ettiğim tek olumlu sonuç Candes and Plan, minimizasyonuyla ideal model seçimi . $\ell_1$ $\ell_1$

model-selection lasso shrinkage

— noksan
kaynak

2

Kement için tutarlılık sonuçları sağlayan kağıtların farkında mısınız? Knight & Fu (2000), Yu & Zhao (2006) ve Meinshausen'in çeşitli makaleleri.

— kardinal

Evet, ama sorum asimptotik tutarlılıkla ilgili değil, bahsettiğiniz makalelerin konusu.

— gappy

1

Bu makaleler (öncelikli olarak) model seçim tutarlılığıyla ilgilidir. Söylemiş olduğum soru ile çok ilgili olduğunu söyleyebilirim . :)

— kardinal

2

Bu Bickel ve ark. . Hata yönünden istatistiksel olarak uygun bir seçim olduğu (yüksek olasılıkla), sabit . $\|y-\hat{y}(\lambda)\|_2^2$ $\lambda = A \sigma_{\text{noise}} \sqrt{\dfrac{\log p}{n}}$ $A > 2\sqrt{2}$

— dohmatob
kaynak

gerektirdiği için bu faturaya uymuyor gibi görünüyor . Aslında, kare kök kementini motive eden tam olarak bu problemdir ( arxiv.org/pdf/1009.5689.pdf )

σ_{n o i s e}

$\sigma_\mathrm{noise}$

— user795305

5

makalede olduğu gibi çoğunlukla regresyonla ilgilendiğinizi ve -penalty'nin diğer uygulamalarıyla (grafik kement, diyelim) düşünüyorum. $\ell_1$

Daha sonra Zou ve ark. Tarafından Kementin “serbestlik derecesi” konulu makalede bazı cevapların bulunabileceğine inanıyorum . Kısaca, kare hata hatası için CV'yi analitik bir tipi istatistik ile değiştirmenize izin veren etkili serbestlik dereceleri için analitik bir formül verir . $C_p$

Bakılacak başka bir yer de Dantzig seçicisidir: p, n'den çok daha büyük olduğunda istatistiksel tahmin ve İstatistik Yıllıkları aynı sayıdaki tartışma kağıtları. Anladığım kadarıyla, kement regresyonu ile ilgili ancak sabit bir ceza katsayısı seçimi olan bir sorunu çözdükleri. Ancak lütfen tartışma belgelerine de bir göz atın.

Tahminle değil, model seçimiyle ilgileniyorsanız, benzer sonuçların farkında değilim. Tahmin optimal modelleri genellikle regresyon modellerinde çok fazla sayıda seçili değişkenle sonuçlanır. Kağıt olarak Stabilite seçimi Meinshausen ve Bühlmann hediyeler bir subsampling tekniği modeli seçimi için daha kullanışlı, ama çok hesaplama ihtiyaçlarınız için talep edilebilir.

— NRH
kaynak

(+1) Bu makalelerin üçü de bu konuyla ilgilenenler için dikkatli bir okumaya değer. Dantzig seçici kağıdında çok güzel bir matematik var; ancak, uygulamalarda çok fazla çekiş görmediğini de görmedim. Bence, diğer şeylerin yanı sıra, çok gürültülü düzenlenme yolları insanları sinirlendirir ve bu nedenle, kement üzerinde belirgin bir yararı olmadan, onu zor bir satış haline getirir.

— kardinal

Hum, düzenlileştirme parametresinin belirli bir değeri için sıfır olmayan katsayıların sayısının, bu değerdeki DoF'ler için tarafsız bir tahmin olmasına rağmen, bu tahminin son derece yüksek varyans olduğunu unutmayın.

— dohmatob

1

Bu soru sorulduğundan, ilginç ilerlemeler kaydedilmiştir. Örneğin, bu makaleyi düşünün

Chichignoud, M., Lederer, J. ve Wainwright, M. (2016). Kementi Optimallik Garantileri ile Ayarlamak için Pratik Bir Şema ve Hızlı Algoritma. Makine Öğrenimi Araştırmaları Dergisi, 17, 1-17.

Model seçimi için kanıtlanabilir sonlu örnek garantileri ile LASSO ayarlama parametresini seçmek için bir yöntem önerirler. Makalede söyledikleri gibi, "Standart Kalibrasyon şemaları için, aralarında Çapraz Geçerlilik, literatürde karşılaştırılabilir hiçbir garanti yoktur. Aslında, standart kalibrasyon şemaları için herhangi bir sınırlı numune garantisinin farkında değiliz".

— user795305
kaynak

0

Bu, sorunuza cevap vermez, ancak: büyük bir veri ayarında, düzenleyiciyi çapraz doğrulamada (veya önyükleme için daha fazla) 10 kez yapmak yerine, tek bir tren / test bölümü kullanarak ayarlamak iyi olabilir. Devset için seçilen örneğin büyüklüğü ve temsili, optimum düzenleyicinin tahmininin doğruluğunu belirler.

Deneyimlerime göre, uzak tutma kaybı önemli bir düzenleyici aralıkta nispeten düzdür. Eminim bu gerçek başka problemler için geçerli olmayabilir.

— Brendan OConnor
kaynak