Kademeli regresyonun avantajları nelerdir?


11

Soruna yaklaşımımdaki çeşitlilik uğruna adım adım gerileme deniyorum. 2 sorum var:

  1. Kademeli regresyonun avantajları nelerdir? Özel güçlü yanları nelerdir?

  2. Özellikleri seçmek için aşamalı regresyon kullandığınız ve daha sonra seçilen tüm özellikleri bir arada alarak düzenli regresyon uyguladığınız hibrit yaklaşım hakkında ne düşünüyorsunuz?

Yanıtlar:


15

Kademeli regresyonun birincil avantajı, hesaplamalı olarak verimli olmasıdır. Bununla birlikte, performansı genellikle alternatif yöntemlerden daha kötüdür. Sorun çok açgözlü olması. Bir sonraki regresör üzerinde sert bir seçim yaparak ve ağırlığı 'donarak', her adımda yerel olarak optimal, ancak genel olarak yetersiz olan seçimler yapar. Ve geçmiş seçimlerini gözden geçirmek için geri dönemez.

Bildiğim kadarıyla, daha iyi çözümler üretme eğilimi gösteren düzenli regresyona (LASSO) kıyasla kademeli regresyon genellikle gözden düştü .l1

Tibshirani (1996) . Kement Üzerinden Regresyon Büzülmesi ve Seçimi

LASSO ağırlıkların normunu cezalandırır , bu da çözümde seyrekliği tetikler (birçok ağırlık sıfıra zorlanır). Bu, değişken seçimi gerçekleştirir ('ilgili' değişkenlerin sıfır olmayan ağırlıklara sahip olmasına izin verilir). Seyreklik derecesi ceza süresi ile kontrol edilir ve bunu seçmek için bazı prosedürler kullanılmalıdır (çapraz geçerlilik yaygın bir seçimdir). LASSO, adım adım regresyondan daha hesaplama açısından yoğundur, ancak bir dizi etkili algoritma vardır. Bazı örnekler en az açı regresyonu ( LARS ) ve koordinat inişine dayanan bir yaklaşımdır .l1

(2) 'de önerdiklerinize benzer bir yaklaşıma dikey eşleme arayışı denir. Bu, sinyal işleme literatüründe aşamalı regresyonun adı olan eşleştirme arayışının bir genellemesidir.

Pati ve diğ. (1993) . Ortogonal eşleme arayışı: dalgacık ayrıştırma uygulamaları ile özyinelemeli fonksiyon yaklaşımı

Her bir yinelemede, aktif kümeye bir sonraki en iyi regresör eklenir. Ardından, aktif setteki tüm regresörlerin ağırlıkları yeniden hesaplanır. Yeniden ağırlıklandırma adımı nedeniyle, bu yaklaşım, düzenli eşleştirme peşinde / kademeli regresyondan daha az açgözlüdür (ve daha iyi performansa sahiptir). Ancak, hala açgözlü bir arama sezgisel kullanır.

Tüm bu yaklaşımlar (aşamalı regresyon, LASSO ve dik eşleştirme arayışı) aşağıdaki problemin yaklaşıkları olarak düşünülebilir:

minwy-Xw22st w0c

Bir regresyon bağlamında, sütunları bağımsız değişkenlere, ise bağımlı değişkene karşılık gelir. Sinyal işlemede, sütunları temel fonksiyonlara karşılık gelir ve yaklaşık olarak bir sinyaldir. Amaç, en iyi (en küçük kareler) yaklaşımını veren seyrek bir ağırlık kümesi bulmaktır . norm sadece sıfırdan farklı giriş sayısını sayar . Ne yazık ki, bu problem NP zordur, bu yüzden uygulamada yaklaşık algoritmalar kullanılmalıdır. Aşamalı regresyon ve dik eşleme arayışı, açgözlü bir arama stratejisi kullanarak sorunu çözmeye çalışır. LASSO, sorunu gevşeterekXyXywyl0wl0 normunu normuna getirin. Burada, optimizasyon problemi dışbükey (ve dolayısıyla izlenebilir hale gelir). Ve sorun artık özdeş olmasa da, çözüm benzer. Doğru hatırlıyorsam, hem LASSO hem de dik eşleştirme arayışının belirli koşullar altında kesin çözümü kurtardığı kanıtlanmıştır.l1


8

Kademeli seçim genellikle iyi bir fikir değildir. Nedenini anlamak için cevabımı burada okumanıza yardımcı olabilir: Otomatik model seçimi için algoritmalar .

Avantajlara gelince, tüm olası özellik kombinasyonları arasında arama yapılan günlerde bilgisayarların işleyemeyeceği kadar hesaplama yoğunluğu vardı, kademeli seçim zamandan tasarruf etti ve izlenebilirdi. Bununla birlikte, yukarıdaki bağlantılı cevabımda tartışılan sorunların 'en iyi alt küme' regresyonu için de geçerli olduğunu unutmayın, bu nedenle adım adım iyi bir çözüm üretmez, sadece kötü bir çözüm daha hızlıdır.

İkinci model (seçilen özelliklere sahip) yeni bir veri kümesine takıldığı sürece hibrit bir yaklaşım fikriniz iyi olacaktır .


OP'nin "melez yaklaşım" olarak adlandırdığı şeyle ilgili olarak (neden hibrit olduğu konusunda tam olarak emin değilim), modelin ikinci yeni veri kümelerindeki katsayılarının tahminlerinin iyi olması gerektiği anlamına gelir (önyargılı ve sorunlu olsa da) orijinal veri), yeni veri kümesi yeterince büyük olduğu sürece? Elbette potansiyel olarak kötü bir model olacaktır, çünkü ilk veri kümesinde kötü bir şekilde seçilmiştir, basitçe katsayıları daha az sorunlu bir veri kümesinde tahmin edilecektir.
Björn

Ayrıca, olası tüm kombinasyonlara bakmak hala imkansızdır, çünkü verilerimizdeki farklı değişkenlerin sayısı hesaplama gücünden daha hızlı büyür ve insanlar modellerine neleri dahil edecekleri konusunda daha fazla fikre sahiptir.
Stephan Kolassa

Bu yazıyı okumak yardımcı olmaya devam ediyor.
Mox

2

Stepwise regresyonu için bir google araması yaptım. Bunu tam olarak anladığımdan emin değilim, ama işte ilk düşüncem

  • Açgözlüdür, bu yüzden Lasso'nun yaptığı gibi iyi bir çözüm üretemez. Kement'i tercih ederim
  • Basit, kullanımı kolay, kodlaması kolay
  • Stepwise regresyonu kullandıktan sonra, zaten seçilen özellikleri kullanan eğitimli bir model elde edersiniz, bu nedenle hibrit yaklaşım olarak bahsettiğiniz gibi başka bir regresyon adımını kullanmanıza gerek yoktur
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.