En az açılı regresyon ve kement

En küçük açılı regresyon ve kement çok benzer düzenlileştirme yolları üretme eğilimindedir (bir katsayının sıfırı geçtiği durumlar dışında aynıdır)

Her ikisi de neredeyse aynı algoritmalarla verimli bir şekilde sığabilir.

Bir yöntemi diğerine tercih etmek için herhangi bir pratik sebep var mı?

"Bedava öğle yemeği yok" teoremleri, istatistiksel çıkarım algoritmaları arasında önceden bir ayrım olmadığını, yani LARS veya LASSO'nun en iyi şekilde çalışıp çalışmadığı, belirli veri kümesinin yapısına bağlıdır. Uygulamada, her ikisini de denemek ve operasyonda hangisini kullanacağına (veya bir topluluk kullanacağına) karar vermek için genelleme performansının güvenilir bir tahmincisini kullanmak en iyisidir. LARS ve LASSO arasındaki farklar oldukça hafif olduğu için, performanstaki farklılıkların da oldukça hafif olması muhtemeldir, ancak genel olarak kesin olarak öğrenmenin tek bir yolu vardır!

Aşamalı modda kullanıldığında, LARS algoritması, kesin olarak tutarlı bir tahminci vermeyen açgözlü bir yöntemdir (başka bir deyişle, örnek sayısını artırdığınızda kararlı bir sonuca dönüşmez).

Buna karşılık, LASSO (ve böylece LASSO modunda kullanıldığında LARS algoritması) dışbükey veri uydurma problemini çözer. Özellikle, bu problemin (L1 cezalandırılmış doğrusal tahmin edicisi) birçok iyi kanıtlanmış özelliği vardır (tutarlılık, seyreklik).

Bu yüzden LARS'ı LASSO modunda kullanmaya çalışacağım (veya LASSO için başka bir çözücü kullanacağım).

LASSO kendi başına bir algoritma değil, bir operatördür.

problemler için verimli algoritmalar elde etmenin birçok farklı yolu vardır . Örneğin, kişi doğrudan mücadele için ikinci dereceden programlama kullanabilir. Sanırım LASSO dediğiniz şey bu.$\ell_1$

Bir diğeri, basitliği, ileri prosedürlerle bağlantısı (henüz çok açgözlü değil), çok yapıcı kanıtı ve kolay genelleştirmesi nedeniyle çok popüler olan LARS.

En gelişmiş ikinci dereceden programlama çözücülerine kıyasla, LARS daha verimli olabilir.

Daha önce de belirtildiği gibi, LARS Kement sorunu çözmek için, belirli bir yöntemdir, örneğin, , en küçük kareler sorunu -regularized. Başarısı, standart en küçük kareler regresyonu ile karşılaştırılabilir bir asimptotik çaba gerektirmesinden ve bu nedenle ikinci dereceli bir programlama probleminin çözümünün gerektirdiğinden daha üstün bir performans gerektirmesinden kaynaklanmaktadır. daha sonraki uzantıları, en genel karelere işlevsel olarak en az ve 1- düzenleme terimlerini dahil ettiğiniz daha genel elastik-net sorununa da .$l_1$$l_1$$l_2$

Bu cevabın amacı, günümüzde LARS'ın koordinat-iniş ve stokastik koordinat-iniş yöntemleriyle geçersiz kılındığını belirtmek . Bu yöntemler özellikle basit algoritmalara dayanırken, aynı zamanda performans LARS'tan daha yüksek görünmektedir (genellikle bir veya iki büyüklük sırası daha hızlıdır). Örneğin, bkz , bu kağıt Friedman ve ark.

Yani, eğer LARS'ı uygulamayı planlıyorsanız, yapma. Birkaç saat süren koordinat inişini kullanın.

Kement çözümlerinin hesaplanması ikinci dereceden bir programlama problemidir ve standart sayısal analiz algoritmaları ile ele alınabilir. Ancak en düşük açılı regresyon işlemi daha iyi bir yaklaşımdır. Bu algoritma, kement probleminin özel yapısından yararlanır ve tüm değerleri için çözümleri eşzamanlı olarak hesaplamak için etkili bir yol sağlar .$\lambda$

İşte benim görüşüm:

Sorunuz iki bölüme ayrılabilir. Yüksek boyutlu olgular ve düşük boyutlu olgular. Diğer taraftan, en uygun modeli seçmek için hangi kriterleri kullanacağınıza bağlıdır. orijinal makalesinde, en iyi modeli seçmek için bir kriteri kanıtlanmıştır ve ayrıca makalenin “Tartışması” nda da bir SVS ve CV kriteri görebilirsiniz. Genel olarak, LARS ve Lasso arasında küçük farklılıklar vardır ve tamamen göz ardı edilebilir.$C_p$

Ek olarak, LARS hesaplama açısından hızlı ve güvenilirdir. Kement hızlıdır ancak algoritma arasında LARS'ın hız mücadelesini kazanmasına neden olan küçük bir fark vardır. Öte yandan, örneğin R'de, lars paketine göre daha güvenilir çalışan 'glmnet' adında alternatif paketler vardır (çünkü daha geneldir).

Özetle, lars ve kement hakkında düşünülebilecek önemli bir şey yoktur. Modeli kullanacağınız içeriğe bağlı.

Şahsen hem yüksek hem de düşük boyutlu durumlarda R'de glmnet kullanılmasını öneririm. veya farklı ölçütlerle ilgileniyorsanız, http://cran.r-project.org/web/packages/msgps/ paketini kullanabilirsiniz .

Bazı bağlamlarda, en küçük kareler çözeltisinin düzenli bir versiyonu tercih edilebilir. LASSO (en az mutlak büzülme ve seçim operatörü) algoritması, örneğin, kısıtlı olan en küçük kareler çözümünü bulur. β | 1'de, parametre vektörünün Ll-normu, verilen bir değerden daha büyük değildir. Eşdeğer olarak, en küçük kareler cezalarının α | β | A'nın bir sabit olduğu 1 eklenmiştir (bu kısıtlı problemin Lagrangian şeklidir.) Bu problem ikinci dereceden programlama veya daha genel dışbükey optimizasyon yöntemleri ile ve ayrıca en düşük açılı regresyon algoritması gibi spesifik algoritmalar kullanılarak çözülebilir. L1 ile düzenli hale getirilmiş formülasyon, sıfır olmayan parametre değerlerine sahip olan çözeltileri tercih etme eğiliminden dolayı bazı bağlamlarda yararlıdır, Verilen çözümün bağımlı olduğu değişkenlerin sayısını etkili bir şekilde azaltmak. [11] Bu nedenle, LASSO ve varyantları, sıkıştırılmış algılama alanı için temeldir.