Kademeli regresyonun birincil avantajı, hesaplamalı olarak verimli olmasıdır. Bununla birlikte, performansı genellikle alternatif yöntemlerden daha kötüdür. Sorun çok açgözlü olması. Bir sonraki regresör üzerinde sert bir seçim yaparak ve ağırlığı 'donarak', her adımda yerel olarak optimal, ancak genel olarak yetersiz olan seçimler yapar. Ve geçmiş seçimlerini gözden geçirmek için geri dönemez.
Bildiğim kadarıyla, daha iyi çözümler üretme eğilimi gösteren düzenli regresyona (LASSO) kıyasla kademeli regresyon genellikle gözden düştü .l1
Tibshirani (1996) . Kement Üzerinden Regresyon Büzülmesi ve Seçimi
LASSO ağırlıkların normunu cezalandırır , bu da çözümde seyrekliği tetikler (birçok ağırlık sıfıra zorlanır). Bu, değişken seçimi gerçekleştirir ('ilgili' değişkenlerin sıfır olmayan ağırlıklara sahip olmasına izin verilir). Seyreklik derecesi ceza süresi ile kontrol edilir ve bunu seçmek için bazı prosedürler kullanılmalıdır (çapraz geçerlilik yaygın bir seçimdir). LASSO, adım adım regresyondan daha hesaplama açısından yoğundur, ancak bir dizi etkili algoritma vardır. Bazı örnekler en az açı regresyonu ( LARS ) ve koordinat inişine dayanan bir yaklaşımdır .l1
(2) 'de önerdiklerinize benzer bir yaklaşıma dikey eşleme arayışı denir. Bu, sinyal işleme literatüründe aşamalı regresyonun adı olan eşleştirme arayışının bir genellemesidir.
Pati ve diğ. (1993) . Ortogonal eşleme arayışı: dalgacık ayrıştırma uygulamaları ile özyinelemeli fonksiyon yaklaşımı
Her bir yinelemede, aktif kümeye bir sonraki en iyi regresör eklenir. Ardından, aktif setteki tüm regresörlerin ağırlıkları yeniden hesaplanır. Yeniden ağırlıklandırma adımı nedeniyle, bu yaklaşım, düzenli eşleştirme peşinde / kademeli regresyondan daha az açgözlüdür (ve daha iyi performansa sahiptir). Ancak, hala açgözlü bir arama sezgisel kullanır.
Tüm bu yaklaşımlar (aşamalı regresyon, LASSO ve dik eşleştirme arayışı) aşağıdaki problemin yaklaşıkları olarak düşünülebilir:
minw∥ y- Xw∥22st ∥ w∥0≤ c
Bir regresyon bağlamında, sütunları bağımsız değişkenlere, ise bağımlı değişkene karşılık gelir. Sinyal işlemede, sütunları temel fonksiyonlara karşılık gelir ve yaklaşık olarak bir sinyaldir. Amaç, en iyi (en küçük kareler) yaklaşımını veren seyrek bir ağırlık kümesi bulmaktır . norm sadece sıfırdan farklı giriş sayısını sayar . Ne yazık ki, bu problem NP zordur, bu yüzden uygulamada yaklaşık algoritmalar kullanılmalıdır. Aşamalı regresyon ve dik eşleme arayışı, açgözlü bir arama stratejisi kullanarak sorunu çözmeye çalışır. LASSO, sorunu gevşeterekXyXywyl0wl0 normunu normuna getirin. Burada, optimizasyon problemi dışbükey (ve dolayısıyla izlenebilir hale gelir). Ve sorun artık özdeş olmasa da, çözüm benzer. Doğru hatırlıyorsam, hem LASSO hem de dik eşleştirme arayışının belirli koşullar altında kesin çözümü kurtardığı kanıtlanmıştır.l1