Parametrik olmayan regresyon için en iyi özellik seçim yöntemleri

10

Burada yeni başlayan bir soru. Şu anda R'deki np paketini kullanarak parametrik olmayan bir regresyon gerçekleştiriyorum. 7 özelliğim var ve kaba kuvvet yaklaşımı kullanarak en iyi 3'ü tanımladım. Ama yakında 7'den fazla özelliğim olacak!

Benim sorum parametrik olmayan regresyon için özellik seçimi için mevcut en iyi yöntemler nelerdir. Ve hangi paketler varsa yöntemleri uygular. Teşekkür ederim.

r machine-learning nonparametric feature-selection

— jmmcnew
kaynak

1

"daha fazlası" 100 ile ne demek istiyorsun? 1000? 10000? 100000?

— robin girard

Muhtemelen 100 özellik üzerinde olacağım. Ancak en iyi özellik alt kümesine karar vermek için sadece birkaç dakikam var.

— jmmcnew

1

Kement veya elastik ağ denediniz mi? paketleri: kement, glmnet. Bu yöntemler hareket halindeyken bazı değişkenleri "seçebilir".

— deps_stats

3

En alakalı değişkenlerin tanımlanması analizin temel amacı olmadığı sürece, herhangi bir özellik seçimi yapmamak ve aşırı uymayı önlemek için düzenlileştirme kullanmak genellikle daha iyidir. Özellik seçimi zor bir işlemdir ve birçok serbestlik derecesi olduğu için özellik seçimi ölçütüne uymak çok kolaydır. LASSO ve elastik ağ iyi bir uzlaşmadır, doğrudan özellik seçimi yerine düzenlileştirme yoluyla spariteyi elde eder, bu nedenle bu özel aşırı bağlantı formuna daha az eğilimlidirler.

— Dikran Keseli
kaynak

0

Kement gerçekten iyidir. Hiçbiri ile başlamak ve bunları 'kullanışlılık' (sıralı doğrulama yoluyla) üzerinde sıralı olarak tek tek eklemek gibi basit şeyler de pratikte oldukça işe yarar. Buna bazen aşamalı ileri besleme seçimi denir.

Altküme seçim sorununun sınıflandırma / regresyon türünden oldukça bağımsız olduğunu unutmayın. Sadece parametrik olmayan yöntemler yavaş olabilir ve bu nedenle daha akıllı seçim yöntemleri gerektirir.

T. Hastie'nin 'İstatistiksel öğrenmenin unsurları' kitabı hoş bir genel bakış sunuyor.

— Bay Beyaz
kaynak