Lojistik regresyonda sıralama özellikleri

Lojistik Regresyon kullandım. Altı özelliğim var, bu sınıflandırıcıdaki sonucu diğer özelliklerden daha fazla etkileyen önemli özellikleri bilmek istiyorum. Bilgi Kazancı kullandım ama kullanılan sınıflandırıcıya bağlı olmadığı anlaşılıyor. Özellikleri belirli sınıflandırıcıya (Lojistik Regresyon gibi) göre önemlerine göre sıralamak için herhangi bir yöntem var mı? herhangi bir yardım çok takdir edilecektir.

Aradığınız cevabın Boruta algoritması olabileceğini düşünüyorum . Bu, doğrudan doğruya bir "tüm alaka" anlamında özelliklerin önemi ölçer ve bir uygulanan bir sarma yöntemi R paketin gibi güzel araziler üreten herhangi bir özelliğinin önem y-ekseni üzerinde olduğu ve bir ile karşılaştırılır null burada mavi renkle çizilir. Bu blog yazısı yaklaşımı açıklıyor ve çok net bir giriş olarak okumanızı tavsiye ederim.

Regresyon modelleri için değişkenlerin önem derecesine göre nasıl sıralanacağını anlamaya başlamak için doğrusal regresyon ile başlayabilirsiniz. Rütbesine Popüler bir yaklaşım lineer regresyon modelinde bir değişkenin önemi ayrıştırmak için her değişken atfedilen katkılarına da. Ancak değişkenler arasındaki korelasyonlar nedeniyle lineer regresyonda değişken önem açık değildir. PMD yöntemini açıklayan belgeye bakın (Feldman, 2005) [ 3 ]. Bir diğer popüler yaklaşım, sıralamaların ortalamasının alınmasıdır (LMG, 1980) [ 2 ].$R^2$

$R^2$

Lojistik regresyon modellerinde özellik önemine ilişkin popüler yaklaşımların bir listesi:

1. $R^2$
2. Yeterlilik: Tam model günlüğü olasılığının, her bir belirteç tarafından ayrı ayrı açıklanabilecek oranı
3. Uyumluluk: Bir modelin pozitif ve negatif tepki değişkenleri arasında ayrım yapabilme yeteneğini gösterir. Her bir öngörücü için ayrı bir model oluşturulur ve önem puanı, yalnızca bu öngörücüye dayanan gerçek pozitiflerin tahmini olasılığıdır.
4. Bilgi değeri: Bilgi değerleri, bir yordayıcıdan elde edilen sonuç hakkında bilgi miktarını belirler. Diğer öngörücüler dikkate alınmaksızın her bir öngörücünün bir analizine dayanır.

Referanslar:

1. Lojistik Regresyonda Açıklayıcı Değişkenlerin Göreli Öneminin Ölçülmesi Üzerine
2. R'deki Lineer Regresörlerin Göreceli Önemi
3. Göreceli Önem ve Değer, Barry Feldman (PMD yöntemi)

xiyiiwb f w , b ( x i

$$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda {{\left\| {\bf{w}} \right\|}^2}}$$ $x_i$$y_i$$i$eğitim setinizden. Bu işlev, sınıflandırma için kullansak da olasılıksal doğasını açıklayan tüm eğitim örnekleri üzerindeki ortak olasılıktan kaynaklanmaktadır. denkleminde ağırlık vektörünüz ve yanlılığınızdır. nın ne olduğunu bildiğinize . Minimizasyon problemindeki son terim, diğer şeylerin yanı sıra, modelin genelleştirilmesini kontrol eden düzenlenme terimidir.$\mathbf{w}$$b$${{f_{w,b}}({x_i})}$

Tüm öğenizin normalleştirildiğini varsayarsak , örneğin büyüklüğüne bağlı olarak , hangi değişkenlerin daha önemli olduğunu görmek oldukça kolaydır: diğerlerinden daha büyük olanlar veya (negatif tarafta) ) diğerlerine göre daha küçük. Kaybı en çok etkilerler.$\mathbf{x}$$\mathbf{x}$

Gerçekten önemli olan değişkenleri bulmaya hevesliyseniz ve süreçte birkaç şeyi tekmelemeyi , kayıp işlevinizi düzenleyebilirsiniz: $\ell_1$

$$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda \left| {\bf{w}} \right|}$$

Türevler veya düzenleyici oldukça basittir, bu yüzden burada bahsetmeyeceğim. Bu düzenlenme biçimini ve uygun bir içindeki daha az önemli unsurların sıfır olmasını ve diğerlerinin olmamasını zorlayacaktır .$\lambda$$\mathbf{w}$

Umarım bu yardımcı olur. Başka sorunuz varsa sorun.